Crawling-Frequenz von Google verringern

Die Crawler-Infrastruktur von Google verfügt über ausgefeilte Algorithmen, um die optimale Crawling-Frequenz für eine Website zu bestimmen. Wir bemühen uns, bei jedem Besuch möglichst viele Seiten deiner Website zu crawlen, ohne dass dein Server zu sehr beansprucht wird. In manchen Fällen kann das Crawlen deiner Website durch Google eine kritische Belastung deiner Infrastruktur bedeuten oder unerwünschte Kosten während eines Ausfalls verursachen. Um das zu vermeiden, kannst du die Anzahl der von Google-Crawlern gestellten Anfragen verringern.

Ursache für den starken Anstieg des Crawlings überprüfen

Ein starker Anstieg des Crawlings kann durch eine ineffiziente Websitestruktur oder anderweitige Probleme mit deiner Website verursacht werden. Basierend auf den Meldungen, die wir in der Vergangenheit erhalten haben, sind die häufigsten Ursachen folgende:

  • Ineffiziente Konfiguration von URLs auf der Website, was in der Regel durch eine bestimmte Funktion der Website verursacht wird:
    • Facettensuche oder andere Sortier- und Filterfunktionen
    • Ein Kalender mit vielen URLs für bestimmte Daten
  • Ein Ziel für dynamische Suchanzeigen

Wir empfehlen dir dringend, dich an dein Hostingunternehmen zu wenden und die letzten Zugriffsprotokolle deines Servers zu prüfen, um die Quelle des Traffics zu finden und zu sehen, ob sie zu den oben genannten häufigen Ursachen für den starken Anstieg des Crawlings passt. Sieh dir dann unsere Anleitungen Crawling von Facettensuche-URLs verwalten und Optimierung der Crawling-Effizienz an.

Crawler-Traffic dringend reduzieren (für Notfälle)

Wenn du die Crawling-Frequenz dringend für einen kurzen Zeitraum verringern musst (z. B. für ein paar Stunden oder ein bis zwei Tage), gib auf die Crawling-Anfragen den HTTP-Antwortstatuscode 500, 503 oder 429 anstatt 200 zurück.

Wenn die Crawling-Infrastruktur von Google eine große Anzahl von URLs mit den HTTP-Antwortstatuscodes 500, 503 oder 429 findet, z. B. wenn du deine Website deaktiviert hast, geschieht Folgendes:

  • Die Crawling-Frequenz deiner Website wird für den gesamten Hostnamen reduziert (z. B. subdomain.example.com), einschließlich der URLs, die Fehler zurückgeben, und der URLs, die Inhalte zurückgeben.
  • Die Crawling-Frequenz wird automatisch wieder erhöht, sobald die Anzahl dieser Fehler reduziert ist.

Wenn du den Statuscode 503 oder 429 zurückgibst, kannst du auch einen HTTP-Header Retry-After (wie in RFC 9110 HTTP Semantics definiert) einfügen, um anzugeben, wann die Google-Crawler die Anfrage noch einmal senden können. Verwende dazu entweder eine Verzögerung in Sekunden oder ein absolutes UTC-Datum und eine absolute UTC-Uhrzeit:

  • Eine Verzögerung in Sekunden: 
    HTTP/1.1 503 Service Unavailable
Retry-After: 120
  • Ein absolutes UTC-Datum und eine absolute UTC-Uhrzeit: 
    HTTP/1.1 503 Service Unavailable
Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Außergewöhnliche Anfragen zum Verringern der Crawling-Frequenz

Falls es in deiner Infrastruktur nicht möglich ist, den Crawlern von Google Fehler anzuzeigen, sende eine spezielle Anfrage, um ein Problem mit einer ungewöhnlich hohen Crawling-Frequenz zu melden. Gib dabei die optimale Frequenz für deine Website an. Eine Erhöhung der Crawling-Frequenz kann nicht beantragt werden. Außerdem kann es mehrere Tage dauern, bis die Anfrage geprüft und bearbeitet wird.