Liste des robots d'exploration spéciaux de Google

Les robots d'exploration spéciaux sont utilisés par des produits Google spécifiques qui font l'objet d'un accord entre le site exploré et le produit concerné. Par exemple, AdsBot ignore le user-agent robots.txt global (*) avec l'autorisation de l'éditeur de l'annonce. Les propriétés techniques générales des robots d'exploration de Google s'appliquent également aux robots d'exploration spéciaux.

Les robots d'exploration spéciaux peuvent ignorer les règles du fichier robots.txt. Ils fonctionnent donc sur une plage d'adresses IP différente de celle des robots d'exploration courants. Les plages d'adresses IP sont publiées dans l'objet special-crawlers.json. Le masque DNS inversé des robots d'exploration spéciaux correspond à rate-limited-proxy-***-***-***-***.google.com.

La liste suivante présente les robots d'exploration spéciaux, leurs chaînes d'user-agent telles qu'elles apparaissent dans les requêtes HTTP, leurs jetons user-agent pour la ligne User-agent: dans le fichier robots.txt, ainsi que les produits concernés par les préférences d'exploration du robot d'exploration. La liste n'est pas exhaustive. Elle ne couvre que les demandeurs qui sont plus susceptibles d'apparaître dans les fichiers journaux et pour lesquels nous avons reçu des questions.

APIs-Google

User-agent dans les requêtes HTTP	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	Jeton user-agent dans le fichier robots.txt APIs-Google Le user-agent global (*) est ignoré. Exemple de groupe robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Produits concernés	Les préférences d'exploration adressées au user-agent APIs-Google affectent la diffusion des messages de notification push par Google APIs.

AdsBot Mobile Web

User-agent dans les requêtes HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	Jeton user-agent dans le fichier robots.txt AdsBot-Google-Mobile Le user-agent global (*) est ignoré. Exemple de groupe robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Produits concernés	Les préférences d'exploration adressées au user-agent AdsBot-Google-Mobile affectent la capacité de Google Ads à vérifier la qualité des annonces sur les pages Web.

AdsBot

User-agent dans les requêtes HTTP	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	Jeton user-agent dans le fichier robots.txt AdsBot-Google Le user-agent global (*) est ignoré. Exemple de groupe robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Produits concernés	Les préférences d'exploration adressées au user-agent AdsBot-Google affectent la capacité de Google Ads à vérifier la qualité des annonces sur les pages Web.

AdSense

User-agent dans les requêtes HTTP	Agent pour ordinateur Mediapartners-Google Agent mobile (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	Jeton user-agent dans le fichier robots.txt Mediapartners-Google Le user-agent global (*) est ignoré. Exemple de groupe robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Produits concernés	Les préférences d'exploration adressées au user-agent Mediapartners-Google affectent Google AdSense. Le robot d'exploration AdSense visite les sites participants afin de leur proposer des annonces pertinentes.

Google-Safety

User-agent dans les requêtes HTTP	Google-Safety
robots.txt	Le user-agent Google-Safety ignore les règles du fichier robots.txt.
Produits concernés	Le user-agent Google-Safety gère l'exploration spécifique aux abus, comme la détection de logiciels malveillants pour les liens publiés publiquement sur les propriétés Google. Par conséquent, il n'est pas affecté par les préférences d'exploration.