Список основных поисковых роботов Google

Основные поисковые роботы Google используются, чтобы искать информацию в целях создания индексов Google Поиска, анализа и выполнения других операций сканирования в зависимости от конкретного продукта. При автоматическом сканировании они всегда следуют правилам из файла robots.txt. У поисковых роботов Google те же главные технические свойства, что и у поисковых роботов других систем.

Основные поисковые роботы Google обычно сканируют интернет в диапазоне IP-адресов, указанных в объекте googlebot.json, а обратная маска DNS их имени хоста соответствует адресам crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo.googlebot.com.

В списке ниже указаны основные поисковые роботы, их строки агента пользователя в том виде, в каком они указываются в HTTP-запросах, токены агента пользователя для строки User-agent: в файле robots.txt и продукты, на которые распространяются настройки сканирования конкретного робота. У некоторых роботов несколько токенов агента пользователя. Чтобы применялось какое-либо правило, достаточно обнаружить только один из токенов. Список не исчерпывающий: в нем указаны только те отправители запросов, которые чаще представлены в файлах журналов и о которых нам задавали вопросы.

Строка User-Agent в HTTP-запросах
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Редко:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
Файл robots.txt
Токен агента пользователя в robots.txt Googlebot
Пример группы robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Googlebot, влияют на Google Поиск (включая "Обзор" и все функции Google Поиска), а также другие продукты (например, Google Картинки, Google Видео, Google Новости и "Обзор").
Строка user-agent в HTTP-запросах 
Googlebot-Image/1.0
Файл robots.txt
Токен агента пользователя в robots.txt Googlebot-Image
Googlebot
Пример группы robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Googlebot-Image, влияют на сервисы "Google Картинки" и "Google Видео", на рекомендации и все функции Google Поиска, в которых используются изображения, логотипы и значки сайтов.
Строка user-agent в HTTP-запросах 
Googlebot-Video/1.0
Файл robots.txt
Токен агента пользователя в robots.txt Googlebot-Video
Googlebot
Пример группы robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Googlebot-Video, влияют на функции Google Поиска, связанные с роликами, и другие продукты, зависящие от видео.
Строка user-agent в HTTP-запросах Робот Googlebot-news не имеет отдельной строки агента пользователя HTTP-запроса. Сканирование производится с помощью различных строк агента пользователя Googlebot.
Файл robots.txt
Токен агента пользователя в robots.txt Googlebot-News
Googlebot
Пример группы robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Googlebot-News, влияют на платформы Google Новостей (например, на вкладку "Новости" в Google Поиске и приложение Google Новостей).
Строка user-agent в HTTP-запросах
Версия для компьютеров 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Мобильная версия 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
Файл robots.txt
Токен агента пользователя в robots.txt Storebot-Google
Пример группы robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Storebot-Google, влияют на все платформы Google Покупок (например, на вкладку "Покупки" в Google Поиске и Google Покупки).
Строка user-agent в HTTP-запросах
Версия для компьютеров 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Мобильная версия 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
Файл robots.txt
Токен агента пользователя в robots.txt Google-InspectionTool
Googlebot
Пример группы robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Google-InspectionTool, влияют на инструменты Поиска для тестирования, например инструменты проверки расширенных результатов и проверки URL в Search Console. Робот не влияет на Google Поиск и другие продукты.
Строка user-agent в HTTP-запросах 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
Файл robots.txt
Токен агента пользователя в robots.txt GoogleOther
Пример группы robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя GoogleOther, не влияют на конкретные продукты. GoogleOther – поисковый робот общего назначения, который может использоваться командами, работающими с разными продуктами, для получения общедоступного контента с сайтов. Например, с его помощью можно выполнять однократные операции сканирования для внутренних исследований и разработки. Он не влияет на Google Поиск и другие продукты.
Строка user-agent в HTTP-запросах 
GoogleOther-Image/1.0
Файл robots.txt
Токен агента пользователя в robots.txt GoogleOther-Image
GoogleOther
Пример группы robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Затронутые продукты Настройки сканирования, адресованные агенту пользователя GoogleOther-Image, не влияют на конкретные продукты, как и в случае GoogleOther. GoogleOther-Image – это версия робота GoogleOther, оптимизированная для получения общедоступных URL изображений.
Строка user-agent в HTTP-запросах 
GoogleOther-Video/1.0
Файл robots.txt
Токен агента пользователя в robots.txt GoogleOther-Video
GoogleOther
Пример группы robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Затронутые продукты Настройки сканирования, адресованные агенту пользователя GoogleOther-Video, не влияют на конкретные продукты, как и в случае GoogleOther. GoogleOther-Video – это версия робота GoogleOther, оптимизированная для получения общедоступных URL видео.
Подстрока User-Agent в HTTP-запросах 
Google-CloudVertexBot
Файл robots.txt
Токен агента пользователя в robots.txt Google-CloudVertexBot
Googlebot
Пример группы robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Настройки сканирования, адресованные агенту пользователя Google-CloudVertexBot, влияют на операции сканирования, запрашиваемые владельцами сайтов для создания агентов на основе Vertex AI. Робот не влияет на Google Поиск и другие продукты.
Строка user-agent в HTTP-запросах Google-Extended не использует отдельную строку агента пользователя HTTP-запроса. Сканирование выполняется с помощью имеющихся строк агента пользователя Google. При этом токен агента пользователя из файла robots.txt применяется в целях проверки.
Файл robots.txt
Токен агента пользователя в robots.txt Google-Extended
Пример группы robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Затронутые продукты Google-Extended – отдельный токен продукта, который позволяет веб-издателям указать, помогают ли их сайты улучшать приложения Gemini и API для Vertex AI, в том числе будущие поколения моделей, лежащих в основе этих продуктов. Функция Grounding with Google Search с использованием Vertex AI не использует для поиска информации веб-страницы, на которых заблокирован робот Google-Extended. Google-Extended никак не влияет на показ или рейтинг сайта в Google Поиске.

Примечание о компоненте Chrome/W.X.Y.Z в строках агентов пользователей

Элемент Chrome/W.X.Y.Z в строках агента пользователя – это плейсхолдер для версии браузера Chrome, используемой агентом пользователя. Пример: 41.0.2272.96. Это значение соответствует последней версии Chromium, которую использует робот Googlebot, и поэтому со временем оно увеличивается.

При поиске агента пользователя в журнале или на сервере не указывайте точный номер версии, а используйте подстановочные знаки.