Crawling-Frequenz des Googlebots verringern

Google bestimmt die optimale Crawling-Geschwindigkeit einer Website über hoch entwickelte Algorithmen. Wir bemühen uns, bei jedem Besuch möglichst viele Seiten deiner Website zu crawlen, ohne dass die Bandbreite deines Servers zu sehr beansprucht wird. In einigen Fällen kann das Crawlen deiner Website durch Google eine kritische Auslastung deiner Infrastruktur oder unerwünschte Kosten während eines Ausfalls verursachen. Um dies zu vermeiden, kannst du die Anzahl der vom Googlebot gestellten Anfragen verringern.

Wenn du die Crawling-Frequenz des Googlebots reduzieren möchtest, hast du folgende Möglichkeiten:

Crawling-Frequenz mit der Search Console reduzieren (empfohlen)

Wenn du die Crawling-Frequenz schnell reduzieren möchtest, kannst du die Crawling-Frequenz des Googlebots in der Search Console ändern. Änderungen an dieser Einstellung werden in der Regel innerhalb weniger Tage übernommen. Wenn du diese Einstellung verwenden möchtest, musst du zuerst deine Website-Inhaberschaft bestätigen. Achte darauf, die Crawling-Frequenz nicht auf einen Wert zu setzen, der für die Anforderungen deiner Website zu niedrig ist. Weitere Informationen zum Crawling-Budget für den Googlebot

Google die Crawling-Frequenz automatisch reduzieren lassen

Wenn du die Crawling-Frequenz dringend für einen kurzen Zeitraum (z. B. ein paar Stunden oder 1–2 Tage) reduzieren musst, gib anstatt der Inhalte eine Fehlermeldung mit dem HTTP-Ergebniscode 500, 503 oder 429 zurück. Der Googlebot reduziert die Crawling-Frequenz deiner Website, wenn er eine große Anzahl von URLs mit HTTP-Ergebniscodes 500, 503 oder 429 findet, z. B. wenn du deine Website deaktiviert hast. Die Änderung spiegelt sich sowohl im Crawling der URLs, die diese Fehler zurückgeben, als auch im Crawling der gesamten Website wider. Sobald die Anzahl dieser Fehler reduziert ist, wird die Crawling-Frequenz automatisch wieder erhöht.