Crawling-Frequenz des Googlebots verringern

Google bestimmt die optimale Crawling-Frequenz einer Website über hoch entwickelte Algorithmen. Wir bemühen uns, bei jedem Besuch möglichst viele Seiten deiner Website zu crawlen, ohne dass die Bandbreite deines Servers zu sehr beansprucht wird. In manchen Fällen kann das Crawlen deiner Website durch Google eine kritische Belastung deiner Infrastruktur bedeuten oder unerwünschte Kosten während eines Ausfalls verursachen. Um das zu vermeiden, kannst du die Anzahl der vom Googlebot gestellten Anfragen verringern.

Wenn du die Crawling-Frequenz dringend für einen kurzen Zeitraum reduzieren musst (z. B. für ein paar Stunden oder ein bis zwei Tage), gib auf die Crawling-Anfragen den HTTP-Antwortstatuscode 500, 503 oder 429 statt 200 zurück. Der Googlebot reduziert die Crawling-Frequenz deiner Website, wenn er eine große Anzahl von URLs mit HTTP-Antwortcode 500, 503 oder 429 findet, z. B. wenn du deine Website deaktiviert hast. Die reduzierte Crawling-Frequenz wirkt sich auf den gesamten Hostnamen deiner Website aus (z. B. subdomain.example.com), sowohl auf das Crawlen der URLs, die Fehler zurückgeben, als auch auf das Crawlen der URLs, die Inhalte zurückgeben. Sobald die Anzahl dieser Fehler reduziert ist, wird die Crawling-Frequenz automatisch wieder erhöht.

Ein starker Anstieg des Crawlings kann durch eine ineffiziente Websitestruktur oder anderweitige Probleme mit deiner Website verursacht werden. Weitere Informationen findest du in unserem Leitfaden zur Optimierung der Crawling-Effizienz.

Falls es in deiner Infrastruktur nicht möglich ist, dem Googlebot Fehler anzuzeigen, sende eine spezielle Anfrage, um die Crawling-Frequenz zu reduzieren. Eine Erhöhung der Crawling-Frequenz kann nicht beantragt werden.