Как и зачем можно снизить частоту сканирования сайта роботом Googlebot

Иногда сканирование сайта роботами Google вызывает чрезмерную нагрузку на инфраструктуру или даже перебои в работе, которые могут привести к непредвиденным расходам. Мы стараемся предотвратить это и используем умные алгоритмы оптимизации, автоматически определяющие максимальное количество страниц, которое можно обработать без излишней нагрузки на сервер. Однако вы можете самостоятельно сократить количество запросов, выполняемых нашими роботами.

Если вам нужно срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), передавайте в ответ на запросы сканирования код статуса HTTP-ответа 500, 503 или 429, а не 200. Если на сайте много URL, которые возвращают коды статуса HTTP-ответа 500, 503 или 429 (такое может произойти, если вы полностью отключили сайт), робот Googlebot будет сканировать ваш ресурс реже. Уменьшенная частота сканирования будет действовать для всего имени хоста вашего сайта, например subdomain.example.com, и повлияет на сканирование URL, которые возвращают как коды ошибок, так и контент. Если количество этих ошибок сократится, частота сканирования автоматически начнет увеличиваться.

Помните, что резкое увеличение частоты сканирования может быть обусловлено проблемами с сайтом, например непродуманной его структурой. Рекомендуем вам ознакомиться с с советами по увеличению эффективности сканирования.

Если инфраструктура вашего ресурса не позволяет передавать информацию об ошибках роботу Googlebot, то вы можете отправить специальный запрос на снижение частоты сканирования. Обратите внимание, что запросить увеличение частоты сканирования невозможно.