Crawling-Budget optimieren

In diesem Handbuch wird beschrieben, wie du das Crawling sehr großer und häufig aktualisierter Websites durch Google optimieren kannst.

Wenn deine Website nicht viele Seiten hat, die sich schnell ändern, oder falls die Seiten anscheinend noch an dem Tag gecrawlt werden, an dem sie veröffentlicht wurden, brauchst du dieses Handbuch nicht zu lesen. Speziell für die Google Suche reicht es aus, wenn du die Sitemap auf dem neuesten Stand hältst und regelmäßig den Bericht zur Seitenindexierung prüfst.

Für wen ist dieses Handbuch gedacht?

Die Empfehlungen in diesem Handbuch gehören zwar auch im Allgemeinen zu den Best Practices, aber es ist in erster Linie für die folgenden Arten von Websites gedacht:

große Websites (über 1 Million einzelne Seiten), deren Inhalt sich häufig (einmal pro Woche) ändert oder
mittelgroße Websites (mehr als 10.000 einzelne Seiten) mit Inhalten, die sich sehr schnell (täglich) ändern.
Websites, bei denen ein Großteil ihrer gesamten URLs von der Search Console als Gefunden – zurzeit nicht indexiert klassifiziert wurde

Allgemeine Grundlagen des Crawlings

Das Web ist schier unermesslich und es übersteigt die Möglichkeiten von Google, jede öffentlich zugängliche URL zu erfassen. Deshalb hat Google nur begrenzt Zeit und Ressourcen, um eine bestimmte Website zu crawlen. Die Zuweisung dieser Ressourcen wird als das Crawling-Budget einer Website bezeichnet. In diesem Zusammenhang wird eine Website von der Crawling-Infrastruktur von Google als eindeutiger Hostname definiert. Beispiel: https://www.example.com/ und https://code.example.com/ werden als separate Websites behandelt und haben separate Crawling-Budgets. Das Crawling-Budget einer Website wird durch zwei Hauptelemente bestimmt: das Crawling-Kapazitätslimit und den Crawling-Bedarf.

Crawling-Kapazitätslimit

Google möchte deine Website crawlen, ohne deine Server zu überlasten. Deshalb berechnen die Google-Crawler ein Crawling-Kapazitätslimit (auch als Hostlast bezeichnet). Dadurch wird die Gesamtzeit begrenzt, die dein Server Verbindungen für Google offen hält. Dabei werden sowohl die Anzahl der parallelen Verbindungen als auch ihre Dauer berücksichtigt. So wird sichergestellt, dass Google alle wichtigen Inhalte abdecken kann, ohne dass deine Server überlastet werden.

Für jede Website gilt zu Beginn das gleiche standardmäßige, konservative Crawling-Kapazitätslimit. Wenn mehr Crawling-Anfragen vorliegen und die Website weiterhin gut funktioniert, passen die Systeme von Google dieses Limit im Laufe der Zeit automatisch an.

Das Crawling-Kapazitätslimit kann sich aus verschiedenen Gründen erhöhen oder verringern:

Crawling-Status: Wenn die Website konsistent reagiert und die Antwortzeiten (einschließlich Latenz und Time to First Byte) stabil bleiben oder sich verbessern, wird das Limit erhöht, d. h. es können mehr Verbindungen für das Crawling genutzt werden. Falls die Website langsamer wird (die Latenz steigt oder die Antwortzeiten länger werden) oder sie mit Serverfehlern (5xx HTTP-Statuscodes) oder Signalen zur Ratenbegrenzung (z. B. HTTP 429) antwortet, verringert sich das Limit und Google crawlt weniger.
Crawling-Limits von Google: Die Ressourcen von Google sind zwar umfangreich, aber nicht unbegrenzt. Daher müssen wir die Ressourcenzuweisung im Web priorisieren.

Crawling-Bedarf

Jeder Crawler hat seine eigenen Anforderungen an das Crawling des Webs, die von Faktoren bestimmt werden, die für diesen Crawler spezifisch sind. Beispielsweise ist der Bedarf für AdsBot im Allgemeinen höher, wenn eine Website dynamische Anzeigenziele verwendet, und Google Shopping hat einen höheren Bedarf für Produkte in deinen Merchant-Feeds.

Bei Googlebot variieren die Anforderungen je nach Größe, Updatehäufigkeit, Seitenqualität und Relevanz einer Website im Vergleich zu anderen Websites. Die wichtigsten Faktoren, die du beeinflussen kannst, sind:

Wahrgenommenes Inventar: Wenn Google von dir keine weiteren Hinweise erhält, wird versucht, alle oder die meisten URLs deiner Website zu crawlen, die Google bekannt sind. Falls viele dieser URLs Duplikate sind oder aus einem anderen Grund nicht gecrawlt werden sollen (z. B. weil sie entfernt wurden oder unwichtig sind), verbraucht Google dadurch unnötig viel Zeit beim Crawling deiner Website. Das ist der Faktor, den du am stärksten beeinflussen kannst.
Beliebtheit: URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, damit sie in unseren Systemen immer aktuell sind.
Aktualität: Unsere Systeme versuchen, Dokumente oft genug zu crawlen, dass Änderungen schnell erkannt werden.

Darüber hinaus können Ereignisse, die die gesamte Website betreffen, wie etwa der Umzug einer Website, zu einer Zunahme des Crawling-Bedarfs führen, da der Inhalt unter den neuen URLs neu verarbeitet werden muss.

Zusammenfassung

Anhand der Crawling-Kapazität und des Crawling-Bedarfs bestimmt Google das Crawling-Budget, das für die URLs einer Website aufgewendet werden soll, die Google crawlen kann und möchte. Selbst wenn das Crawling-Kapazitätslimit nicht erreicht wird, crawlt Google deine Website weniger, falls der Crawling-Bedarf gering ist.

Best Practices

Wende diese Best Practices an, um die Crawling-Effizienz zu maximieren:

Verwalte dein URL-Inventar. Teile Google über die entsprechenden Tools mit, welche Seiten gecrawlt werden sollen und welche nicht. Wenn Google zu viel Zeit mit dem Crawling von URLs verbringt, die sich nicht für den Index eignen, crawlen die Google-Crawler eventuell nicht den Rest deiner Website oder erhöhen dein Crawling-Budget nicht.
- Konsolidiere duplizierte Inhalte. Entferne duplizierte Inhalte, um das Crawling auf einzigartige Inhalte statt auf eindeutige URLs zu konzentrieren.
- Blockiere das Crawling von URLs mithilfe von robots.txt. Einige Seiten sind möglicherweise für die Nutzer wichtig, sollten aber nicht unbedingt auf Google-Plattformen erscheinen oder von den Google-Systemen neu verarbeitet werden. Das können beispielsweise Seiten mit unendlichem Scrollen sein, auf denen Informationen von verlinkten Seiten dupliziert werden, oder unterschiedlich sortierte Versionen derselben Seite. Wenn du sie nicht wie im ersten Stichpunkt beschrieben konsolidieren kannst, blockiere diese unwichtigen Seiten mit der robots.txt-Datei. Durch das Blockieren von URLs mit der robots.txt-Datei wird verhindert, dass Google sie crawlt. Außerdem verringert sich erheblich die Wahrscheinlichkeit, dass die URLs von anderen Google-Systemen verarbeitet werden (z. B. durch Indexierung in der Google Suche).
  Verwende nicht noindex. Google fordert die Seite trotzdem an, ignoriert sie dann aber, sobald das meta-Tag noindex oder ein Header dieses Typs in der HTTP-Antwort erkannt wird. Dadurch geht Crawling-Zeit verloren. Verwende die robots.txt-Datei nicht, um das Crawling-Budget vorübergehend anderen Seiten zuzuweisen. Verwende die robots.txt-Datei stattdessen dazu, Seiten oder Ressourcen zu blockieren, die von Google überhaupt nicht gecrawlt werden sollen. Google weist dieses neu verfügbare Crawling-Budget nur dann anderen Seiten zu, wenn das Crawling-Kapazitätslimit deiner Website erreicht wurde.
- Gib den Statuscode 404 oder 410 für dauerhaft entfernte Seiten zurück. Google vergisst keine URL, wenn sie einmal bekannt ist, aber ein 404-Statuscode ist ein starkes Signal dafür, eine URL nicht noch einmal zu crawlen. Blockierte URLs bleiben jedoch noch lange Teil deiner Crawling-Warteschlange und werden erneut gecrawlt, falls die Blockierung aufgehoben wird.
- Beseitige soft 404-Fehler. Seiten mit soft 404-Fehlern werden weiterhin gecrawlt und verschwenden damit dein Crawling-Budget. Prüfe den Bericht zur Seitenindexierung auf soft 404-Fehler.
- Halte deine Sitemaps auf dem neuesten Stand. Google liest deine Sitemap regelmäßig. Achte daher darauf, alle Inhalte anzugeben, die Google crawlen soll. Wenn deine Website aktualisierte Inhalte enthält, empfehlen wir, das Tag <lastmod> zu verwenden.
- Vermeide lange Weiterleitungsketten. Diese wirken sich negativ auf das Crawling aus.
Ermögliche ein effizientes Laden deiner Seiten. Wenn Google deine Seiten schneller laden und rendern kann, können wir möglicherweise mehr Inhalte deiner Website lesen.
- Verbessere die Ladezeiten. Optimiere die Antwortzeiten und Ressourcen des Servers, damit Seiten schneller geladen werden.
- Nutze HTTP-Caching. Unterstütze die HTTP-Statuscodes 304 (Not Modified). Wenn sich eine Seite seit dem letzten Crawling durch Google nicht geändert hat, wird Google durch die Rückgabe des Codes 304 angewiesen, die im Cache gespeicherte Version wiederzuverwenden. Dadurch werden Bandbreite und Ressourcen deines Servers geschont.
Behebe Probleme mit dem Crawling-Budget. Prüfe, ob es beim Crawling deiner Website Verfügbarkeitsprobleme gab, und suche nach Möglichkeiten, das Crawling effizienter zu gestalten.

Wie erhalte ich ein höheres Crawling-Budget?

Es gibt zwei Möglichkeiten, das Crawling-Budget zu erhöhen:

Füge mehr Serverressourcen hinzu: Wenn deine Website aufgrund der Serverkapazität auf deiner Seite nicht gecrawlt werden kann (z. B. wenn du im URL-Prüftool die Meldung Hostlast überschritten erhältst), füge mehr Serverressourcen hinzu, sofern dies für dein Unternehmen sinnvoll ist.
Optimiere die Qualität deiner Inhalte für das Google-Produkt, das du anvisierst: Google bestimmt die Crawling-Ressourcen, die jeder Website zugewiesen werden, indem Elemente berücksichtigt werden, die für das jeweilige Google-Produkt relevant sind. Für die Google Suche gehören dazu beispielsweise Beliebtheit, allgemeiner Wert für die Nutzerinnen und Nutzer, Einzigartigkeit der Inhalte und Bereitstellungskapazität.