Lista de rastreadores de casos especiais do Google

Os rastreadores de casos especiais são usados por produtos específicos do Google quando há um acordo entre o site rastreado e o produto sobre o processo de rastreamento. Por exemplo, AdsBot ignora o user agent global (*) do robots.txt com a permissão do publisher de anúncios. As propriedades técnicas gerais dos rastreadores do Google também se aplicam aos rastreadores de casos especiais.

Os rastreadores de casos especiais podem ignorar as regras do robots.txt. Por isso, eles operam em um intervalo de IP diferente dos rastreadores comuns. Os intervalos de IP são publicados no objeto special-crawlers.json. A máscara de DNS reversa dos rastreadores de casos especiais corresponde a rate-limited-proxy-***-***-***-***.google.com.

A lista a seguir mostra os rastreadores de casos especiais, as strings de user agent conforme aparecem nas solicitações HTTP, os tokens do user agent para a linha User-agent: no robots.txt e os produtos que são afetados pelas preferências de rastreamento. A lista não é completa, abrange apenas os solicitantes com maior probabilidade de aparecer nos arquivos de registro e que sobre quais recebemos perguntas.

APIs-Google

User agent em solicitações HTTP	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	Token do user agent no robots.txt APIs-Google O user agent global (*) é ignorado. Exemplo de grupo do robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Produtos afetados	As preferências de rastreamento direcionadas ao user agent APIs-Google afetam o envio de mensagens de notificação push pelas APIs do Google.

AdsBot Mobile Web

User agent em solicitações HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	Token do user agent no robots.txt AdsBot-Google-Mobile O user agent global (*) é ignorado. Exemplo de grupo do robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Produtos afetados	As preferências de rastreamento direcionadas ao user agent AdsBot-Google-Mobile afetam a capacidade do Google Ads de verificar a qualidade dos anúncios de uma página da Web.

AdsBot

User agent em solicitações HTTP	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	Token do user agent no robots.txt AdsBot-Google O user agent global (*) é ignorado. Exemplo de grupo do robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Produtos afetados	As preferências de rastreamento direcionadas ao user agent AdsBot-Google afetam a capacidade do Google Ads de verificar a qualidade dos anúncios de uma página da Web.

AdSense

User agent em solicitações HTTP	Agente de computador Mediapartners-Google Agente de dispositivo móvel (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	Token do user agent no robots.txt Mediapartners-Google O user agent global (*) é ignorado. Exemplo de grupo do robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Produtos afetados	As preferências de rastreamento direcionadas ao user agent Mediapartners-Google afetam o Google AdSense. O Rastreador do AdSense visita os sites participantes para mostrar anúncios relevantes.

Google-Safety

User agent em solicitações HTTP	Google-Safety
robots.txt	O user agent Google-Safety ignora as regras do robots.txt.
Produtos afetados	O user agent do Google-Safety processa o rastreamento específico de abuso, como a descoberta de malware em links postados publicamente nos Serviços do Google. Por isso, ele não é afetado pelas preferências de rastreamento.