Список специальных поисковых роботов Google

Специальные поисковые роботы используются определенными продуктами Google при наличии договоренности между ними и сайтами, которые сканируются такими роботами. Например, AdsBot игнорирует глобальный агент пользователя из файла robots.txt (*), если это разрешено издателем объявления. У специальных поисковых роботов те же главные технические свойства, что и у других поисковых роботов Google.

Такие роботы могут не учитывать правила robots.txt, поэтому работают из диапазона IP-адресов, не используемого основными поисковыми роботами. Диапазоны IP-адресов опубликованы в объекте special-crawlers.json. У специальных поисковых роботов обратная маска DNS соответствует адресам rate-limited-proxy-***-***-***-***.google.com.

В списке ниже перечислены специальные поисковые роботы, их строки агента пользователя в том виде, в каком они указываются в HTTP-запросах, токены агента пользователя для строки User-agent: в файле robots.txt и продукты, на которые распространяются настройки сканирования конкретного робота. Список не исчерпывающий: в нем указаны только те отправители запросов, которые чаще представлены в файлах журналов и о которых нам задавали вопросы.

APIs-Google

Строка user-agent в HTTP-запросах	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
Файл robots.txt	Токен агента пользователя в robots.txt APIs-Google Игнорирует глобальный агент пользователя (*). Пример группы robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Затронутые продукты	Настройки сканирования, адресованные агенту пользователя APIs-Google, влияют на отправку push-уведомлений со стороны API Google.

AdsBot Mobile Web

Строка user-agent в HTTP-запросах	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Файл robots.txt	Токен агента пользователя в robots.txt AdsBot-Google-Mobile Игнорирует глобальный агент пользователя (*). Пример группы robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Затронутые продукты	От настроек сканирования, адресованных агенту пользователя AdsBot-Google-Mobile, зависит, сможет ли Google Реклама проверять качество объявлений на веб-страницах.

AdsBot

Строка user-agent в HTTP-запросах	AdsBot-Google (+http://www.google.com/adsbot.html)
Файл robots.txt	Токен агента пользователя в robots.txt AdsBot-Google Игнорирует глобальный агент пользователя (*). Пример группы robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Затронутые продукты	От настроек сканирования, адресованных агенту пользователя AdsBot-Google, зависит, сможет ли Google Реклама проверять качество объявлений на веб-страницах.

AdSense

Строка user-agent в HTTP-запросах	Версия для компьютеров Mediapartners-Google Мобильная версия (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Файл robots.txt	Токен агента пользователя в robots.txt Mediapartners-Google Игнорирует глобальный агент пользователя (*). Пример группы robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Затронутые продукты	Настройки сканирования, адресованные агенту пользователя Mediapartners-Google, влияют на Google AdSense. Робот AdSense сканирует сайты, участвующие в программе, с целью размещения на них релевантных объявлений.

Google-Safety

Строка user-agent в HTTP-запросах	Google-Safety
Файл robots.txt	Агент Google-Safety игнорирует правила в файле robots.txt.
Затронутые продукты	Агент пользователя Google-Safety выполняет сканирование, связанное со злоупотреблениями. Например, он ищет вредоносное ПО по общедоступным ссылкам, размещенным в сервисах Google. Поэтому на него влияют настройки сканирования.