Как и зачем можно снизить частоту сканирования сайта роботом Googlebot

Иногда сканирование вашего сайта роботами Google может вызвать чрезмерную нагрузку на инфраструктуру или даже перебои в работе. Мы стараемся не допускать этого и используем сложные алгоритмы, которые помогают определять, сколько страниц можно обрабатывать, не оказывая излишней нагрузки на сервер. Однако вы можете самостоятельно сократить количество запросов, выполняемых нашими роботами.

Если вы считаете, что эта мера принесет пользу вашему сайту, то можете сделать следующее:

Уменьшить частоту сканирования в настройках Search Console (рекомендуется)

Вы можете непосредственно в интерфейсе Search Console сообщить роботу Googlebot о том, что ваш сайт нужно сканировать реже. Обычно подобные изменения вступают в силу в течение нескольких дней. Прежде чем сделать это, необходимо подтвердить право собственности на сайт. Не выбирайте частоту сканирования, которая будет слишком низкой для вашего сайта. Узнайте, как действия, выполняемые роботом Googlebot, зависят от лимита на сканирование.

Если у вас нет доступа к настройкам частоты сканирования, то вы можете отправить специальный запрос на уменьшение количества посещений вашего сайта роботом Googlebot. Обратите внимание, что запросить увеличение частоты сканирования невозможно.

Как разрешить Google уменьшать частоту сканирования автоматически

Если вам нужно срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), показывайте вместо контента информационную страницу с кодом статуса HTTP 500, 503 или 429. Если на сайте много URL, которые возвращают коды статуса HTTP 500, 503 или 429 (такое случается, например, если вы полностью отключили сайт), робот Googlebot будет сканировать ваш ресурс реже. Новая частота сканирования будет действовать как для URL с указанными выше кодами ошибок, так и для всего сайта. Если количество этих ошибок сократится, частота сканирования автоматически начнет увеличиваться.