robots.txt

Die meisten kleinen Websites brauchen darin sehr wenig. Laut Google ist es in Ordnung, gar keine robots.txt zu haben: Dann kann Google alle URLs deiner Website crawlen. Wichtig wird die Datei, wenn etwas schiefgeht: Eine einzige Zeile Disallow: / unter User-agent: * hält Crawler von der ganzen Website fern.

Sie ist auch kein Weg, eine Seite zu verstecken. Laut Google kann eine gesperrte Seite trotzdem in den Ergebnissen erscheinen, ohne Beschreibung, wenn andere Websites auf sie verlinken. Um eine Seite herauszuhalten, nutze noindex oder einen Passwortschutz.

Bei Baukästen wie Wix oder Blogger kannst du die Datei eventuell gar nicht selbst bearbeiten: Such stattdessen nach den Sucheinstellungen im Baukasten.

1. Öffne deinewebsite.de/robots.txt in einem privaten Browserfenster. Kommt eine Seite mit nicht gefunden, gibt es keine Datei, und Google kann alles crawlen.
2. Lies die Disallow-Zeilen. Jede sperrt die Pfade, die mit ihr beginnen, für die Crawler aus der User-agent-Zeile darüber.
3. Öffne in der Search Console die Einstellungen und dort den robots.txt-Bericht. Er zeigt, welche Dateien Google gefunden hat, wann es sie zuletzt abgerufen hat und welche Fehler es gab. Hast du eine Sperre entfernt, wähle im Menü neben der Datei Erneutes Crawlen beantragen.

• Ein Disallow: / aus der Testversion der Website, das nach dem Start jede Seite sperrt. Es ist eine der Ursachen in unserem Leitfaden Warum erscheint meine Website nicht bei Google?
• Bild-, Style- oder Skriptdateien sperren, die eine Seite braucht. Google rät davon ab, wenn die Seite ohne sie schwerer zu verstehen ist.
• Die Datei in einen Unterordner legen. Sie wirkt nur im Stammverzeichnis und nur für diesen Host: Ein Shop unter shop.deinewebsite.de braucht eine eigene.