Uisdom
Blog starten
de

Crawling

Auch genannt: Googlebot, Crawler, crawlen

Aktualisiert 9. November 2026

Crawling ist der Vorgang, bei dem Google Seiten findet und herunterlädt: Ein automatisches Programm namens Googlebot ruft Adressen auf, die es vor allem über Links und Sitemaps entdeckt hat, und lädt Text, Bilder und Videos herunter.

Warum das für eine kleine Website zählt

Google kann den Inhalt einer Seite nur lesen, wenn es sie crawlt, und erst danach entscheiden, ob es sie indexiert. Neue Seiten findet Google vor allem über Links von Seiten, die es schon kennt, und über die Sitemap, die du einreichst. Eine Seite, auf die nichts verlinkt, wird leicht übersehen.

Den größten Teil der Arbeit erledigt der Googlebot für Smartphones, weil Google bei den meisten Websites vor allem die mobile Version indexiert.

Was das Crawling verhindert

  • Serverprobleme: Die Website ist nicht erreichbar oder antwortet nicht, wenn der Googlebot kommt.
  • Eine Regel in der robots.txt, die die Seite oder die ganze Website sperrt.
  • Seiten, die sich erst nach einem Login öffnen.
  • Keine Links auf die Seite und kein Eintrag in der Sitemap: Google erfährt die Adresse nie.

So prüfst du deine Seiten

Unser Leitfaden zu Gefunden, zurzeit nicht indexiert hilft bei Seiten, die Google kennt, aber noch nicht gecrawlt hat. Für jede einzelne Seite gilt:

  1. Gib in der Search Console die vollständige Adresse der Seite oben in das URL-Prüftool ein.
  2. Lies die Angaben zum Crawling: Letztes Crawling ist der letzte Abruf durch den Googlebot, Crawling erlaubt? zeigt, ob die robots.txt ihn hereinlässt, und Seitenabruf, ob dein Server die Seite geliefert hat.
  3. Klicke auf Live-URL testen, damit Google die Seite sofort abruft. Meldet das Ergebnis eine Sperre oder einen Serverfehler, weißt du, was zu beheben ist.

Oft verwechselt mit

  • Indexierung

    Crawling heißt, dass der Googlebot die Seite herunterlädt. Die Indexierung ist der nächste Schritt: Google analysiert sie und entscheidet, ob es sie speichert. Eine Seite kann gecrawlt und trotzdem nicht indexiert sein.

Häufige Fragen

›Wie oft kommt der Googlebot auf meine Website?

Einen festen Rhythmus gibt es nicht. Das URL-Prüftool zeigt, wann Google eine Seite zuletzt gecrawlt hat, und laut Google greift der Googlebot im Durchschnitt meist nur einmal alle paar Sekunden auf eine Website zu.

›Kann ich den Googlebot von einer Seite fernhalten?

Ja, mit einer Regel in der robots.txt. Das verhindert das Crawling, nicht die Anzeige: Laut Google kann eine gesperrte Adresse trotzdem in den Ergebnissen erscheinen. Um eine Seite herauszuhalten, nutze noindex.

›Kann ich Google bezahlen, damit es öfter crawlt?

Nein. Google sagt, dass es keine Zahlungen annimmt, um eine Website häufiger zu crawlen oder im Ranking höher einzustufen.

Weiterlesen

Quellen

  1. Google Search Central Umfassender Leitfaden zur Funktionsweise der Google Suche
  2. Google Search Central Was ist der Googlebot?
  3. Search Console-Hilfe URL-Prüftool