Das Crawl Budget ist die Menge an URLs, die Google auf einer Website crawlen kann und will. Es ergibt sich aus der Crawl-Kapazitätsgrenze, also wie viel der Server verträgt, und dem Crawl-Bedarf. Laut Google ist es vor allem für große Websites ein Thema.
Bevor eine Seite im Index stehen kann, muss Google sie abrufen. Wie viele Seiten einer Website Google dabei abruft, ist begrenzt – durch die Rücksicht auf den Server und durch das Interesse an den Inhalten. Google fasst beides als Crawl Budget zusammen.
Die Kapazitätsgrenze soll verhindern, dass Google den Server überlastet. Antwortet eine Website langsamer oder mit Fehlern, sinkt sie; bleiben die Antwortzeiten stabil, kann sie steigen. Der Crawl-Bedarf hängt laut Google davon ab, wie viele URLs Google von einer Website kennt, wie beliebt sie sind und wie aktuell Google sie halten will.
Google richtet seinen Leitfaden ausdrücklich an große Websites: ab etwa 1 Million Seiten mit wöchentlich wechselnden Inhalten oder ab etwa 10.000 Seiten mit täglich wechselnden Inhalten – nach Googles Worten grobe Richtwerte. Ein weiterer Hinweis sind viele URLs mit dem Status „Gefunden – zurzeit nicht indexiert“ in der Search Console. Für die meisten kleinen und mittleren Websites ist das Crawl Budget kein Engpass.
Doppelte oder unerwünschte URLs, Filter- und Parameterkombinationen, Soft-404-Seiten und lange Weiterleitungsketten. Gegenmittel sind nach Google: Duplikate zusammenführen, nicht benötigte URLs per robots.txt vom Crawling ausnehmen, entfernte Seiten mit 404 oder 410 beantworten und die XML-Sitemap aktuell halten. Ein noindex spart dagegen kein Crawling – Google ruft die Seite trotzdem ab. Welche der gecrawlten URLs einer Domain überhaupt nützen, beschreibt Index Utility; ausführlich im Knowledge Case dazu, wann zusätzlicher Index belastet.
Das Crawl Budget betrifft, wie viele URLs Google abrufen kann und will. Index Utility bewertet, ob die indexierten URLs der Domain nützen – auch bei kleinen Websites, bei denen das Crawl Budget keine Rolle spielt.
Crawling heißt abrufen, Indexierung heißt analysieren und speichern. Nicht jede gecrawlte Seite wird indexiert – ein größeres Crawl Budget bedeutet deshalb nicht automatisch mehr Seiten im Index.
Häufigeres Crawling ist kein Rankingvorteil. Es sorgt nur dafür, dass neue und geänderte Seiten schneller gefunden werden.
Konstruiertes Beispiel – es zeigt das Muster, die Werte sind frei gewählt.
Ein Reiseportal mit 600.000 Unterkünften erzeugt über Datums- und Personenfilter Millionen weiterer URLs. In der Search Console stehen 180.000 Unterkunftsseiten auf „Gefunden – zurzeit nicht indexiert“; neue Angebote tauchen erst nach Wochen in der Suche auf.
Nachdem die Filter-URLs vom Crawling ausgenommen und leere Filterkombinationen mit 404 beantwortet werden, verteilt sich das Crawling wieder auf die Unterkunftsseiten.
In diesen Beiträgen spielt der Begriff eine Rolle – mit Quellen, Einordnung und konkreten Empfehlungen.
In der Regel nicht. Google richtet seine Hinweise an Websites ab etwa 1 Million Seiten bzw. 10.000 täglich wechselnden Seiten. Kleine Websites profitieren eher von sauberen Duplikaten und einem klaren Index als von Crawl-Optimierung.
Nein. Google ruft eine Seite mit noindex trotzdem ab und verwirft sie erst danach. Wer Crawling sparen will, nimmt URLs per robots.txt aus – dann sieht Google ein noindex auf diesen Seiten aber nicht mehr.
Indirekt ja. Bleiben die Antwortzeiten stabil, kann Google die Kapazitätsgrenze anheben; laut Google kann es bei schnell ladenden Seiten außerdem mehr Inhalte lesen. Einen Rankingvorteil bedeutet häufigeres Crawling nicht.
In einem unverbindlichen Erstgespräch klären wir, wo Sie heute stehen. Ehrlich, konkret und ohne Verkaufsdruck.
