Liste des robots d'exploration communs de Google

Les robots d'exploration communs de Google permettent de trouver des informations pour créer les index de recherche de Google, d'effectuer d'autres explorations spécifiques à un produit et de procéder à des analyses. Ils respectent toujours les règles du fichier robots.txt lors de l'exploration automatique. Les propriétés techniques générales des robots d'exploration de Google s'appliquent également aux robots d'exploration communs.

Les robots d'exploration communs explorent généralement les plages d'adresses IP publiées dans l'objet googlebot.json. De plus, le masque DNS inversé de leur nom d'hôte correspond à crawl-***-***-***-***.googlebot.com ou geo-crawl-***-***-***-***.geo.googlebot.com.

La liste suivante présente les robots d'exploration communs, leurs chaînes d'user-agent telles qu'elles apparaissent dans les requêtes HTTP, leurs jetons user-agent pour la ligne User-agent: dans le fichier robots.txt, ainsi que les produits concernés par les préférences d'exploration du robot d'exploration. Certains robots utilisent plusieurs jetons user-agent. Un seul jeton de robot doit correspondre pour qu'une règle s'applique. La liste n'est pas exhaustive. Elle ne couvre que les demandeurs qui sont plus susceptibles d'apparaître dans les fichiers journaux et pour lesquels nous avons reçu des questions.

User-Agent dans les requêtes HTTP
Googlebot pour smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Robot Googlebot pour ordinateur 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Rarement :

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Jeton user-agent dans le fichier robots.txt Googlebot
Exemple de groupe robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Produits concernés Les préférences d'exploration adressées au user-agent Googlebot affectent la recherche Google (y compris Discover et toutes les options d'affichage dans les résultats de recherche Google), ainsi que d'autres produits tels que Google Images, Google Vidéo, Google Actualités et Discover.
User-agent dans les requêtes HTTP 
Googlebot-Image/1.0
robots.txt
Jeton user-agent dans le fichier robots.txt Googlebot-Image
Googlebot
Exemple de groupe robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Produits concernés Les préférences d'exploration adressées au user-agent Googlebot-Image affectent Google Images, Discover, Google Vidéo et toutes les fonctionnalités de la recherche Google où des images, des logos et des favicons sont présentés.
User-agent dans les requêtes HTTP 
Googlebot-Video/1.0
robots.txt
Jeton user-agent dans le fichier robots.txt Googlebot-Video
Googlebot
Exemple de groupe robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Produits concernés Les préférences d'exploration adressées au user-agent Googlebot-Video affectent les options d'affichage dans les résultats de recherche Google liées aux vidéos et d'autres produits qui en dépendent.
User-agent dans les requêtes HTTP Googlebot-news ne dispose pas d'une chaîne user-agent de requête HTTP distincte. L'exploration est effectuée à l'aide de différentes chaînes user-agent Googlebot.
robots.txt
Jeton user-agent dans le fichier robots.txt Googlebot-News
Googlebot
Exemple de groupe robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Produits concernés Les préférences d'exploration adressées au user-agent Googlebot-News affectent toutes les surfaces de Google Actualités (par exemple, l'onglet "Actualités" dans la recherche Google et l'application Google Actualités).
User-agent dans les requêtes HTTP
Agent pour ordinateur 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Agent mobile 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Jeton user-agent dans le fichier robots.txt Storebot-Google
Exemple de groupe robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Produits concernés Les préférences d'exploration adressées au user-agent Storebot-Google affectent toutes les surfaces de Google Shopping (par exemple, l'onglet "Shopping" dans la recherche Google et Google Shopping).
User-agent dans les requêtes HTTP
Agent pour ordinateur 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Agent mobile 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Jeton user-agent dans le fichier robots.txt Google-InspectionTool
Googlebot
Exemple de groupe robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Produits concernés Les préférences d'exploration adressées au user-agent Google-InspectionTool affectent les outils de test de la recherche, tels que le test des résultats enrichis et l'inspection des URL dans la Search Console. Cela n'a aucune incidence sur la recherche Google ni sur d'autres produits.
User-agent dans les requêtes HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Jeton user-agent dans le fichier robots.txt GoogleOther
Exemple de groupe robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Produits concernés Les préférences d'exploration adressées au user-agent GoogleOther n'affectent aucun produit spécifique. GoogleOther est le robot d'exploration générique dont différentes équipes produit peuvent se servir pour extraire du contenu accessible au public sur les sites. Par exemple, il peut être utilisé pour des explorations ponctuelles à des fins de recherche et de développement internes. Cela n'a aucune incidence sur la recherche Google ni sur d'autres produits.
User-agent dans les requêtes HTTP 
GoogleOther-Image/1.0
robots.txt
Jeton user-agent dans le fichier robots.txt GoogleOther-Image
GoogleOther
Exemple de groupe robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Produits concernés Les préférences d'exploration adressées au user-agent GoogleOther-Image n'affectent aucun produit spécifique, comme GoogleOther. GoogleOther-Image est la version de GoogleOther optimisée pour extraire les URL d'images accessibles au public.
User-agent dans les requêtes HTTP 
GoogleOther-Video/1.0
robots.txt
Jeton user-agent dans le fichier robots.txt GoogleOther-Video
GoogleOther
Exemple de groupe robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Produits concernés Les préférences d'exploration adressées au user-agent GoogleOther-Video n'affectent aucun produit spécifique, comme GoogleOther. GoogleOther-Video est la version de GoogleOther optimisée pour extraire des URL de vidéos accessibles au public.
Sous-chaîne user-agent dans les requêtes HTTP 
Google-CloudVertexBot
robots.txt
Jeton user-agent dans le fichier robots.txt Google-CloudVertexBot
Googlebot
Exemple de groupe robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Produits concernés Les préférences d'exploration adressées au user-agent Google-CloudVertexBot affectent les explorations demandées par les propriétaires de sites pour créer des agents Vertex AI. Cela n'a aucune incidence sur la recherche Google ni sur d'autres produits.
User-agent dans les requêtes HTTP Google-Extended ne dispose pas d'une chaîne user-agent de requête HTTP distincte. L'exploration s'effectue à l'aide des chaînes user-agent Google existantes. Le jeton user-agent du fichier robots.txt est utilisé pour le contrôle.
robots.txt
Jeton user-agent dans le fichier robots.txt Google-Extended
Exemple de groupe robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Produits concernés Google-Extended est un jeton de produit autonome que les éditeurs Web peuvent utiliser pour choisir si leurs sites contribuent à améliorer les API génératives des applications Gemini et Vertex AI, y compris les futures générations de modèles qui alimentent ces produits. L'ancrage avec la recherche Google sur Vertex AI n'utilise pas les pages Web pour l'ancrage qui ont interdit Google-Extended. Google-Extended n'a aucune incidence sur l'inclusion ou le classement d'un site dans la recherche Google.

Remarque concernant Chrome/W.X.Y.Z dans les user-agents

La chaîne Chrome/W.X.Y.Z dans les chaînes user-agent de la liste est un espace réservé qui représente la version du navigateur Chrome utilisée par ce user-agent (par exemple, 41.0.2272.96). Ce numéro de version augmente au fil du temps afin de représenter la dernière version de Chromium utilisée par Googlebot.

Si vous effectuez une recherche dans vos journaux ou si vous filtrez votre serveur afin d'identifier un user-agent avec ce format, utilisez des caractères génériques pour le numéro de version au lieu de spécifier un numéro de version précis.