Список специальных поисковых роботов Google

Специальные поисковые роботы используются определенными продуктами Google при наличии договоренности между ними и сайтами, которые сканируются такими роботами. Например, AdsBot игнорирует глобальный агент пользователя из файла robots.txt (*), если это разрешено издателем объявления. У специальных поисковых роботов те же главные технические свойства, что и у других поисковых роботов Google.

Такие роботы могут не учитывать правила robots.txt, поэтому работают из диапазона IP-адресов, не используемого основными поисковыми роботами. Диапазоны IP-адресов опубликованы в объекте special-crawlers.json. У специальных поисковых роботов обратная маска DNS соответствует адресам rate-limited-proxy-***-***-***-***.google.com.

В списке ниже перечислены специальные поисковые роботы, их строки агента пользователя в том виде, в каком они указываются в HTTP-запросах, токены агента пользователя для строки User-agent: в файле robots.txt и продукты, на которые распространяются настройки сканирования конкретного робота. Список не исчерпывающий: в нем указаны только те отправители запросов, которые чаще представлены в файлах журналов и о которых нам задавали вопросы.

Строка user-agent в HTTP-запросах 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
Файл robots.txt
Токен агента пользователя в robots.txt

APIs-Google

Игнорирует глобальный агент пользователя (*).
Пример группы robots.txt 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя APIs-Google, влияют на отправку push-уведомлений со стороны API Google.
Строка user-agent в HTTP-запросах 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Файл robots.txt
Токен агента пользователя в robots.txt

AdsBot-Google-Mobile

Игнорирует глобальный агент пользователя (*).
Пример группы robots.txt 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты От настроек сканирования, адресованных агенту пользователя AdsBot-Google-Mobile, зависит, сможет ли Google Реклама проверять качество объявлений на веб-страницах.
Строка user-agent в HTTP-запросах 
AdsBot-Google (+http://www.google.com/adsbot.html)
Файл robots.txt
Токен агента пользователя в robots.txt

AdsBot-Google

Игнорирует глобальный агент пользователя (*).
Пример группы robots.txt 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты От настроек сканирования, адресованных агенту пользователя AdsBot-Google, зависит, сможет ли Google Реклама проверять качество объявлений на веб-страницах.
Строка user-agent в HTTP-запросах
Версия для компьютеров 
Mediapartners-Google
Мобильная версия 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Файл robots.txt
Токен агента пользователя в robots.txt Mediapartners-Google

Игнорирует глобальный агент пользователя (*).
Пример группы robots.txt 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Mediapartners-Google, влияют на Google AdSense. Робот AdSense сканирует сайты, участвующие в программе, с целью размещения на них релевантных объявлений.
Строка user-agent в HTTP-запросах 
Google-Safety
Файл robots.txt Агент Google-Safety игнорирует правила в файле robots.txt.
Затронутые продукты Агент пользователя Google-Safety выполняет сканирование, связанное со злоупотреблениями. Например, он ищет вредоносное ПО по общедоступным ссылкам, размещенным в сервисах Google. Поэтому на него влияют настройки сканирования.

Устаревшие специальные поисковые роботы

Указанные специальные поисковые роботы больше не используются и перечислены здесь лишь для справки.

Строка user-agent в HTTP-запросах 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Файл robots.txt
Токен агента пользователя в robots.txt AdsBot-Google-Mobile

Игнорирует глобальный агент пользователя (*).
Затронутые продукты От настроек сканирования, адресованных агенту пользователя AdsBot-Google-Mobile, зависело, мог ли сервис "Google Реклама" проверять качество объявлений на веб-страницах, предназначенных для устройств iOS.
Строка user-agent в HTTP-запросах 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Файл robots.txt
Токен агента пользователя в robots.txt DuplexWeb-Google

Duplex в интернете может игнорировать подстановочный знак *.
Затронутые продукты Обеспечивал работу сервиса "Duplex в интернете".
Строка user-agent в HTTP-запросах 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Файл robots.txt
Токен агента пользователя в robots.txt Googlebot-Image
Googlebot
Строка user-agent в HTTP-запросах 
AdsBot-Google-Mobile-Apps
Файл robots.txt
Токен агента пользователя в robots.txt AdsBot-Google-Mobile-Apps

Агент пользователя AdsBot-Google-Mobile-Apps выполнял правила роботов AdsBot-Google, но игнорировал глобальный агент пользователя (*).
Затронутые продукты От настроек сканирования, адресованных агенту пользователя AdsBot-Google-Mobile-Apps, зависело, мог ли сервис "Google Реклама" проверять качество объявлений в приложениях Android.
Строка user-agent в HTTP-запросах 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Файл robots.txt
Токен агента пользователя в robots.txt googleweblight

Агент пользователя googleweblight действовал, только когда посетитель явным образом запрашивал страницу в браузере. При этом правила в файле robots.txt блокируют лишь автоматические запросы на сканирование, поэтому они не относились к Web Light.
Затронутые продукты Агент пользователя Web Light проверял наличие заголовка no-transform, когда пользователь нажимал на ссылку на вашу страницу в результатах поиска при определенных условиях.