Как оптимизировать лимит на сканирование

В этом руководстве описывается, как оптимизировать сканирование роботами Google очень больших сайтов, контент на которых часто меняется.

Если на вашем сайте мало страниц, обновляемых часто, или они обычно сканируются в течение суток после публикации, вам необязательно читать это руководство. Для Google Поиска достаточно вовремя обновлять файлы Sitemap и проверять отчет об индексировании страниц.

Для кого это руководство

Рекомендации в этом руководстве полезны всем, но в основном оно предназначено для следующих типов сайтов:

  • очень большие сайты (от 1 млн уникальных страниц) с достаточно часто (раз в неделю) меняющимся контентом;
  • средние и большие сайты (от 10 тыс. уникальных страниц) с очень часто (ежедневно) меняющимся контентом;
  • сайты, большинство URL которых в Search Console имеет статус Обнаружена, не проиндексирована.

Общая информация о сканировании

Интернет практически бесконечен, и Google не успевает находить и индексировать все общедоступные URL. По этой причине время и ресурсы, которые Google может выделить на сканирование того или иного сайта, ограничены. Распределение этих ресурсов называется лимитом на сканирование. В данном контексте инфраструктура сканирования Google определяет сайт как уникальное имя хоста. Например, сайты https://www.example.com/ и https://code.example.com/ считаются разными и имеют отдельные лимиты на сканирование. Лимит на сканирование сайта зависит от двух основных факторов: скорости сканирования и потребности в сканировании.

Скорость сканирования

Google сканирует сайты так, чтобы не перегружать серверы, на которых они размещены. Для этого рассчитывается скорость сканирования, которая также может называться нагрузкой на хост. Это позволяет ограничить общее время, в течение которого сервер поддерживает подключения для Google, с учетом количества параллельных подключений и их продолжительности. Такой подход позволяет обрабатывать весь важный контент сайта, не перегружая его серверы.

Для всех сайтов по умолчанию задано одинаковое консервативное ограничение на скорость сканирования. Если потребность в сканировании увеличится, а сайт будет работать без сбоев, то со временем наши системы автоматически скорректируют этот лимит.

На скорость сканирования влияют следующие факторы:

  • Время ответа сайта. Если сайт стабильно отвечает на запросы, а время ответа (включая задержку и Time to First Byte) остается стабильным или сокращается, лимит увеличивается, то есть для сканирования можно использовать больше подключений. Если ответы от сайта поступают медленно (увеличивается задержка или время ответа) или содержат ошибки (коды статуса 5xx HTTP) или сигналы ограничения частоты запросов (например, HTTP 429), скорость сканирования снижается.
  • Ограничения на сканирование Google. Хотя у Google много ресурсов, они не безграничны, поэтому нам приходится расставлять приоритеты при их использовании в интернете.

Потребность в сканировании

У каждого поискового робота своя потребность в сканировании, которая определяется уникальными для него факторами. Например, на потребность AdsBot влияют цели динамической рекламы, а на потребность поискового робота Google Покупок — товары в фидах.

Потребность в сканировании у робота Googlebot зависит от размера сайта, периодичности его обновления, востребованности контента и качества страниц. Основные факторы, на которые вы можете повлиять:

  • Количество страниц на сайте по оценке Google. Если вы не указали иное, Google пытается просканировать все обнаруженные на вашем сайте URL. Но если многие из этих URL дублируются или не должны сканироваться по другим причинам (страница удалена, не содержит важных сведений и т. д.), то Google зря потратит время на сбор информации о них. Вы можете помочь нам в оптимизации, указав страницы, которые можно пропустить.
  • Популярность. Страницы, которые просматривает больше посетителей, сканируются и индексируются чаще.
  • Давность сканирования. Google старается сканировать URL с периодичностью, которая обеспечивает актуальность контента в результатах поиска.

Потребность в сканировании обычно возрастает после существенных изменений на сайте, например при переносе контента на новые URL.

Общие сведения

Google определяет лимит на сканирование сайта с учетом скорости сканирования и потребности в сканировании, составляя список URL, которые можно и нужно обработать. Если потребность в сканировании невелика, Google будет сканировать ваш сайт менее интенсивно даже при возможности увеличить скорость.

Рекомендации

Чтобы повысить эффективность сканирования, следуйте приведенным ниже рекомендациям.

  • Управляйте количеством страниц, подлежащих сканированию. Используйте специальные инструменты, чтобы сообщать Google, какие страницы сканировать, а какие пропустить. Если слишком много времени уйдет на сканирование ненужных URL, поисковые роботы Google могут пропустить остальные разделы сайта или не увеличат для этого лимит на сканирование.
    • Консолидация страниц с идентичным контентом. Удалите страницы с идентичным контентом, чтобы поисковые роботы сканировали уникальные материалы, а не уникальные URL.
    • Заблокируйте сканирование URL при помощи файла robots.txt. Некоторые страницы важны для пользователей, но при этом не должны появляться на платформах Google или повторно обрабатываться системами Google. Это могут быть страницы с бесконечной прокруткой, которые дублируют информацию, размещенную на целевых страницах, или версии одной и той же страницы с разной сортировкой. Если вы не можете объединить такие страницы в соответствии с первым пунктом, заблокируйте их при помощи файла robots.txt. После этого Google не станет их сканировать, а вероятность того, что они будут обработаны другими системами Google (например, проиндексированы Google Поиском), значительно снизится.
    • Возвращайте код ошибки 404 или 410 для окончательно удаленных страниц. Даже если такая страница уже есть в базе данных Google, код 404 будет служить четким сигналом для поискового робота не сканировать страницу снова. В то же время заблокированные URL долго не удаляются из очереди сканирования и будут сканироваться снова, если вы их разблокируете.
    • Устраняйте ошибки soft 404. Поисковый робот сканирует страницы, возвращающие ошибку soft 404, а значит, ваш лимит на сканирование будет расходоваться нерационально. Найти страницы с ошибкой soft 404 вам поможет отчет об индексировании страниц.
    • Вовремя обновляйте файлы Sitemap. Google регулярно проверяет эти файлы, так что добавьте в них весь контент, который нужно сканировать. Если на вашем сайте есть обновленный контент, рекомендуем использовать тег <lastmod>.
    • Избегайте длинных цепочек переадресации. Они вызывают проблемы при сканировании.
  • Оптимизируйте страницы для ускорения их загрузки. Если ваши страницы будут загружаться и отрисовываться быстрее, Google сможет просканировать больше контента на вашем сайте.
    • Увеличьте скорость загрузки. Оптимизируйте время ответа сервера и ресурсы, чтобы страницы загружались быстрее.
    • Используйте кеширование HTTP. Обеспечьте поддержку кодов статуса HTTP 304 (Not Modified). Если страница не изменилась с момента последнего сканирования, код 304 позволяет Google использовать кешированную версию, экономя пропускную способность и ресурсы вашего сервера.
  • Устраняйте неполадки с лимитом на сканирование. Следите за тем, доступен ли ваш сайт во время сканирования, и старайтесь оптимизировать процесс.

Как увеличить лимит на сканирование?

Это можно сделать двумя способами:

  • Добавьте больше ресурсов. Если для сканирования сайта не хватает серверной мощности (например, инструмент проверки URL возвращает предупреждение Превышена нагрузка на хост), задействуйте больше ресурсов сервера (если это целесообразно для вашего бизнеса).
  • Оптимизируйте качество контента для продукта Google, на который вы ориентируетесь. Google выделяет ресурсы на сканирование сайта с учетом различных факторов, зависящих от конкретного продукта Google. Например, для Google Поиска это популярность, ценность для пользователей, уникальность контента и мощность серверов.