Для обеспечения удобства использования Google будет проверять работоспособность предоставленных ссылок для совершения действий и их соответствие политике Place Action . Для этого Google будет использовать сочетание ручной и автоматизированной проверки.
Ручные проверки
У Google есть команда, работающая по всему миру. Рекомендуется не блокировать ссылки для перехода на другие сайты в этих регионах, чтобы обеспечить своевременное внедрение и поддержку после запуска.
Автоматизированные проверки (краулеры)
Автоматизированные поисковые роботы будут периодически проверять ваши ссылки, чтобы убедиться в корректной загрузке страниц. Если робот получит HTTP-код состояния 4xx или 5xx (например, 403 Forbidden или 404 Not Found ), ссылка будет помечена как неработающая или недоступная и отключена в поиске и картах Google.
Обнаружение веб-краулеров и настройка брандмауэра
Чтобы предотвратить блокировку веб-краулеров (что приведет к отключению ваших ссылок для перехода по ссылкам), убедитесь, что ваш брандмауэр веб-приложений (WAF), сеть доставки контента (CDN) или правила ограничения IP-адресов разрешают нашим краулерам постоянно запрашивать ваши страницы.
Чтобы идентифицировать и разблокировать поисковых роботов Google:
- Поисковые роботы в Центре действий : User-Agent будет содержать строку
Google-Appointments(например:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google-Appointments) Chrome/104.0.5112.101 Safari/537.36). Вызовы поступают с прокси-серверов, имена которых соответствуют шаблонуgoogle-proxy-***-***-***-***.google.com. - Поисковые роботы Googlebot : Роботы для проверки ссылок также используют стандартные строки пользовательского агента Googlebot .
- Проверка : Вы можете убедиться, что входящие запросы действительно поступают от Google, используя обратный DNS-запрос (
*.googlebot.comили*.google.com), как описано в разделе «Проверка Googlebot и других поисковых роботов Google» . - Проверка доступности для индексации : Вы можете использовать инструмент проверки URL-адресов в Google Search Console, чтобы проверить, может ли Googlebot успешно индексировать и отображать ваши страницы в режиме реального времени. Вставьте полный URL-адрес в строку поиска в верхней части Google Search Console, нажмите Enter и нажмите «Проверить URL в реальном времени» , чтобы просмотреть данные о индексации, отображении и сканировании в режиме реального времени.
Если ссылка для перехода по ссылке была отключена из-за ошибок поискового робота, обновление настроек сервера или брандмауэра таким образом, чтобы запросы от поисковых роботов Google возвращали 200 OK позволит автоматически повторно проверить ссылку, снять блокировку и восстановить ее.
запросы на удаление из Google Search Console
Помимо автоматической проверки поисковыми роботами, ссылки могут быть отключены, если владелец домена отправил запрос на удаление активного URL-адреса или домена в Google Search Console.
Если ваши ссылки для действий не отображаются, несмотря на то, что поисковые роботы Google возвращают 200 OK , проверьте Google Search Console, чтобы убедиться, не были ли отправлены какие-либо запросы на удаление для вашего домена или URL-адресов, и отмените все устаревшие или активные запросы на удаление с помощью инструмента «Удаления» в Search Console .
Кэширование
В целях снижения нагрузки на веб-сайт партнера наши поисковые роботы, как правило, настроены на учет всех стандартных заголовков HTTP-кэширования, присутствующих в ответе. Это означает, что для правильно настроенных веб-сайтов мы избегаем повторной загрузки контента, который редко меняется (например, библиотек JavaScript). Для получения более подробной информации о реализации кэширования ознакомьтесь с этой документацией по HTTP-кэшированию .