Мониторинг после запуска

Для обеспечения удобства использования Google будет проверять работоспособность предоставленных ссылок для совершения действий и их соответствие политике Place Action . Для этого Google будет использовать сочетание ручной и автоматизированной проверки.

Ручные проверки

У Google есть команда, работающая по всему миру. Рекомендуется не блокировать ссылки для перехода на сайт в этих регионах, чтобы обеспечить своевременное внедрение и поддержку после запуска.

Автоматизированные проверки (краулеры)

Автоматизированные поисковые роботы будут периодически проверять ваши ссылки, чтобы убедиться в корректной загрузке страниц. Если робот получит HTTP-код состояния 4xx или 5xx (например, 403 Forbidden или 404 Not Found ), ссылка будет помечена как неработающая или недоступная и отключена в поиске и картах Google.

Обнаружение веб-краулеров и настройка брандмауэра

Чтобы предотвратить блокировку веб-краулеров (что приведет к отключению ваших ссылок для перехода по ссылкам), убедитесь, что ваш брандмауэр веб-приложений (WAF), сеть доставки контента (CDN) или правила ограничения IP-адресов разрешают нашим краулерам постоянно запрашивать ваши страницы.

Чтобы идентифицировать и разблокировать поисковых роботов Google:

• Поисковые роботы Центра действий : User-Agent будет содержать строку Google-Actions-Center (например: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google-Actions-Center) Chrome/104.0.5112.101 Safari/537.36 ). Вызовы поступают с прокси-серверов, использующих шаблон google-proxy-***-***-***-***.google.com .
• Поисковые роботы Googlebot : Роботы для проверки ссылок также используют стандартные строки пользовательского агента Googlebot .
• Проверка : Вы можете убедиться, что входящие запросы действительно поступают от Google, используя обратный DNS-запрос ( *.googlebot.com или *.google.com ), как описано в разделе «Проверка Googlebot и других поисковых роботов Google» .
• Проверка доступности для индексации : Вы можете использовать инструмент проверки URL-адресов в Google Search Console, чтобы проверить, может ли Googlebot успешно индексировать и отображать ваши страницы в режиме реального времени. Вставьте полный URL-адрес в строку поиска в верхней части Google Search Console, нажмите Enter и нажмите «Проверить URL в реальном времени» , чтобы просмотреть данные о индексации, отображении и сканировании в режиме реального времени.

Если ссылка для перехода по ссылке была отключена из-за ошибок поискового робота, обновление настроек сервера или брандмауэра таким образом, чтобы запросы от поисковых роботов Google возвращали 200 OK позволит автоматически повторно проверить ссылку, снять блокировку и восстановить ее.

запросы на удаление из Google Search Console

Помимо автоматической проверки поисковыми роботами, ссылки могут быть отключены, если владелец домена отправил запрос на удаление активного URL-адреса или домена в Google Search Console.

Если ваши ссылки для действий не отображаются, несмотря на то, что поисковые роботы Google возвращают 200 OK , проверьте Google Search Console, чтобы убедиться, не были ли отправлены какие-либо запросы на удаление для вашего домена или URL-адресов, и отмените все устаревшие или активные запросы на удаление с помощью инструмента «Удаления» в Search Console .

Кэширование

В целях снижения нагрузки на веб-сайт партнера наши поисковые роботы, как правило, настроены на учет всех стандартных заголовков HTTP-кэширования, присутствующих в ответе. Это означает, что для правильно настроенных веб-сайтов мы избегаем повторной загрузки контента, который редко меняется (например, библиотек JavaScript). Для получения более подробной информации о реализации кэширования ознакомьтесь с этой документацией по HTTP-кэшированию .