Агент пользователя APIs-Google

APIs-Google – это агент пользователя, который API Google применяют для отправки push-уведомлений. Разработчики приложений могут включить такие уведомления, чтобы узнавать об изменении интересующих их ресурсов, не перегружая серверы Google постоянными запросами. Чтобы предотвратить злоупотребления этой функцией, Google требует от разработчиков подтвердить, что они являются владельцами домена. Только потом разрешается зарегистрировать в домене URL как адрес для получения уведомлений.

Как APIs-Google получает доступ к сайту

APIs-Google отправляет каждое push-уведомление в виде запроса HTTPS POST. Если в результате возникает ошибка, которую можно расценить как временную, через некоторое время запрос отправляется ещё раз. В случае повторной неудачи предпринимаются новые попытки, но все реже – с экспоненциальной выдержкой. Это продолжается максимум несколько дней.

Частота обращений к сайту зависит от того, сколько запросов push-уведомлений было создано для ваших серверов, от скорости обновления отслеживаемых ресурсов и от количества повторных попыток. Поэтому трафик APIs-Google в некоторых случаях может быть равномерным, а в других – сильно колебаться.

Подготовка сайта для APIs-Google

Поскольку для отправки push-уведомлений APIs-Google использует протокол HTTPS, у вашего сайта должен быть действительный сертификат SSL. К числу недействительных сертификатов относятся:

• Сертификаты с собственной подписью.
• Сертификаты с подписью из ненадежного источника.
• Отозванные сертификаты.

Чтобы на сервер не поступали лишние повторные запросы, приложение должно быть хорошо продуманным, а ответ на уведомление должен отправляться за считанные секунды.

Как запретить APIs-Google обращаться к вашему сайту

Вы можете выполнить одно из следующих действий:

• Отменить регистрацию. Если у вашего домена есть субдомены или подпространства адресов с отдельными владельцами или администраторами, возможно, кто-то из них настроил приложение, в котором используются push-уведомления. Чтобы заблокировать доступ для APIs-Google, попросите других владельцев или администраторов отключить эту функцию.
• Использовать файл robots.txt. В файле robots.txt необходимо указать агент пользователя APIs-Google, так как APIs-Google не следует правилам для робота Googlebot. APIs-Google может не сразу обнаружить изменения в файле robots.txt. Если после блокировки доступа в файле robots.txt прошло несколько дней, а APIs-Google продолжает отправлять уведомления на ваш сайт, убедитесь, что файл robots.txt размещен там, где нужно.

Проверка источника запросов

Если вы подозреваете, что источник запросов указывается недостоверно, то можете выяснить, относится ли робот к домену google.com. Поищите в своих журналах IP-адреса, связанные с агентом пользователя APIs-Google, и выполните обратный DNS-запрос по каждому такому адресу. В результате должен быть показан домен googlebot.com или google.com.