Crawl Budget

Was ist das Google Crawl Budget?

Google spricht jeder Seite ein Crawl Budget (Guthaben) zu, wieviele Seiten der Google Bot maximal crawlt. Dieses Budget ist nicht bei allen Websites gleichermaßen groß sondern abhängig von dessen PageRank. Je höher der PageRank, desto mehr Seiten werden vom Crawler erfasst. Da auch Google keine unendlichen Ressourcen besitzt, ist es wichtig die Serverfarmen, Stromkosten so effektiv wie möglich einzusetzen.

Infografik zum Thema Crawl Budget

Google Crawl Budget in einem Video erklärt

In diesem Video erklären wir den Begriff „Google Crawl Budget“

Warum ist das Crawl Budget wichtig?

Die Optimierung (SEO) der internen Linkstruktur ist dahingehend wichtig, dass der Google Crawler die größtmögliche Anzahl von Seiten findet und dahingehend indexiert. Gerade bei großen Portalen oder Onlineshops kann durch eine falsche Struktur der Bot sich in Teilbereichen aufhalten, welche nicht wichtig sind, somit werden wichtige Artikel oder hochwertiger Content nicht erfasst, da der Crawler bei Erreichung seines Budgets abbricht. Kleine und mittelgroße Websites, mit wenigen tausend URLs müssen sich dahingehend keine Sorgen machen.

Wie sehe ich den Stand der Indexierung?

Mittels der Google Search Console ersehen Sie den Stand der Indexierung im Menüpunkt „Crawling Statistiken“. Dort werden alle Aktivitäten des Google Bots der letzten 90 Tage angezeigt und grafisch dargestellt. Ein „sinkendes Diagramm“ kann ein Problem beim Crawling Ihrer Seite darstellen.

Unterschied zwischen Crawl Rate und Crawl Demand

• Crawl Rate bezieht sich auf die parallelen Verbindungen, mit denen der Google Bot eine Website crawlen kann. Die Ladezeit einer Website ist für das Crawling daher wichtig.
• Crawl Demand ist abhängig Ihrer Domain Authority, demzufolge auch wie wichtig Ihre Website für Google ist und wie oft die Suchmaschine diese auch crawlen möchte.

Welche Faktoren beeinflussen das Crawl Budget?

• Facettierte Navigation und Session-IDs: Bei einer Filterung, z.b. in Onlineshops, mittels Navigation (z.b. Farben, Größen, Geschlecht) entstehen unterschiedliche URLs, die in der SEO klar definiert werden müssen. Auch Session IDs führen zu Duplikaten im Netz, bzw. unendlichen URLs zur gleichen Seite und beeinflussen das Google Crawl Budget.
• Duplicate Content: Neben der beiden genannten Punkte ist die Vermeidung von Duplicate Content, in Bezug auf das Crawl Budget, ein wichtiger Faktor.
• Soft Error Seiten: Seite, die keinen 404 Fehler zurückgeben, nicht den gewünschten Inhalt darstellen und einen Statuscode 200 zurückliefern.
• Gehackte Seiten: Website, die gehackt wurden und damit auch dem Nutzer einen Schaden zufügen können.
• Infinite Spaces: Fehlerhafte Funktionen von Plugins, z.B. wie im Kalender des deutschen Museums. Mittels der „Blätterfunktion“ lassen sich hier unendliche URLs erzeugen.

• Thin oder SPAM-Content: Minderwertige Inhalte oder SPAM auf einer Website führen zu einer Reduzierung des Crawlings, bis hin zur kompletten Einstellung dessen.
• Zahlreiche Weiterleitungen: Sogenannte 301 oder 302 Weiterleitungen führen zu mehreren „Hops“ für den Google Bot.
• Fehlende Redirects: Ein Dokument sollte bestmöglich nur unter einer URL erreichbar sein, mittels Redirects, Canonical Tags, sinnvolle interne Links oder Paginierung kann man den Suchmaschinen helfen seine Website besser zu verstehen. Eine Website kann theoretisch unter mehreren URLs erreichbar sein:
  http://www.ihreseite.com
  https://www.ihreseite.com
  http://ihreseite.com
  https://ihreseite.com

SEO Maßnahmen zur Optimierung des Crawl Budgets

• Realisieren Sie eine flache Seitenstruktur, mittels der der User in wenigen Klicks am Ziel ist.
• Optimieren Sie die interne Verlinkung Ihrer Website, Seiten oder Produkte welche häufiger gecrawlt werden sollen, mehrfach verlinken.
• Unwichtige Seiten vom Crawling mittels robots.txt ausschließen-
• Sinnvoller Einsatz der Meta-Tags noindex bzw. nofollow.
• XML Sitemap bereitstellen und entsprechend einreichen.
• Ladezeit der Website verbessern.
• Serverfehler vermeiden und Weiterleitungen sinnvoll einrichten.
• Optimierung Ihrer Backlinks in einem themenrelevanten Umfeld.

Fazit

Das Google Crawl Budget ist ein wichtiger Faktor in der Suchmaschinenoptimierung (SEO). Google muss Ihre Website verstehen und auch sinnvoll indexieren können. Sofern Ihr wertvoller Content in Ecken schlummert, die für den Bot schlecht erreichbar sind, werden diese auch keine guten Rankings aufbauen können.

Weiterführende Links

Podcast von Marcus Hövener von Bloofusion zur Optimierung des Crawl Budgets: https://blog.bloofusion.de/crawl-budget-optimierung-2/

Blogpost seitens Google zum Crawl Budget: https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html