Visão geral dos rastreadores do Google (user agents)

"Rastreador" (às vezes também chamado de "robô" ou "indexador") é um termo genérico para qualquer programa usado para descobrir e examinar sites automaticamente seguindo links entre páginas da Web. O principal rastreador do Google se chama Googlebot. Esta tabela tem informações sobre os rastreadores mais comuns do Google que podem aparecer nos registros de referenciadores e mostra como eles podem ser especificados no robots.txt, nas tags robots meta e em regras HTTP X-Robots-Tag.

A tabela a seguir mostra os rastreadores usados por vários produtos e serviços do Google:

• O token do user agent é incluído na linha User-agent: do robots.txt ao criar regras de rastreamento do site para corresponder a um tipo de rastreador. Alguns rastreadores têm mais de um token, como indicado na tabela. Para que uma regra seja aplicada, basta que um token corresponda ao rastreador. Esta lista não está completa, mas inclui muitos dos rastreadores que podem acessar seu site.
• A string completa do user agent é uma descrição completa do rastreador e aparece na solicitação HTTP e nos registros da Web.

Rastreadores
APIs-Google	Token do user agent APIs-Google String completa do user agent APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdsBot Mobile Web Android	Confere a qualidade dos anúncios nas páginas da Web no Android. Token do user agent AdsBot-Google-Mobile String completa do user agent Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile Web	Confere a qualidade dos anúncios nas páginas da Web em iPhones. Token do user agent AdsBot-Google-Mobile String completa do user agent Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot	Confere a qualidade dos anúncios nas páginas da Web em computadores. Token do user agent AdsBot-Google String completa do user agent AdsBot-Google (+http://www.google.com/adsbot.html)
Google AdSense	Token do user agent Mediapartners-Google String completa do user agent Mediapartners-Google
Googlebot Image	Tokens do user agent Googlebot-Image Googlebot String completa do user agent Googlebot-Image/1.0
Googlebot News	Tokens do user agent Googlebot-News Googlebot String completa do user agent O user agent Googlebot-News usa as várias strings de user agent do Googlebot.
Central do Editor do Google	Busca e processa os feeds que os editores forneceram explicitamente pela Central do Editor do Google para serem usados nas páginas de destino do Google Notícias. Token do user agent GoogleProducer String completa do user agent GoogleProducer; (+http://goo.gl/7y4SX)
Googlebot Video	Tokens do user agent Googlebot-Video Googlebot String completa do user agent Googlebot-Video/1.0
Googlebot para computadores	Token do user agent Googlebot Strings completas do user agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot para smartphones	Token do user agent Googlebot String completa do user agent Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense	Token do user agent Mediapartners-Google String completa do user agent (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobile Apps Android	Confere a qualidade dos anúncios nas páginas dos apps Android. Segue as regras de robôs AdsBot-Google. Token do user agent AdsBot-Google-Mobile-Apps String completa do user agent AdsBot-Google-Mobile-Apps
Feedfetcher	Token do user agent FeedFetcher-Google String completa do user agent FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Read Aloud	Token do user agent Google-Read-Aloud Strings completas do user agent Agentes atuais: Agente de computador: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) Agente de dispositivo móvel: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) Agente antigo (descontinuado): google-speakr
Google Favicon	Token do user agent Googlebot-Image Googlebot String completa do user agent Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Google StoreBot	Token do user agent Storebot-Google Strings completas do user agent Agente de computador: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 Agente de dispositivo móvel: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
Verificador de sites do Google	Token do user agent Google-Site-Verification String completa do user agent Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Uma observação sobre Chrome/W.X.Y.Z nos user agents:

Quando a string Chrome/W.X.Y.Z for exibida nas strings do user agent na tabela, W.X.Y.Z serve como um marcador de posição que representa a versão do navegador Chrome usada por ele, como 41.0.2272.96. O número da versão aumentará com o tempo para corresponder à versão mais recente do Chromium usada pelo Googlebot.

Se você pesquisar seus registros ou filtrar seu servidor por user agent com esse padrão, use caracteres curingas para o número da versão em vez de especificar um número exato.

User agents no robots.txt

Nos casos em que diversos user agents são reconhecidos no arquivo robots.txt, o Google seguirá o mais específico. Se você quer que o Google seja capaz de rastrear suas páginas, não será necessário um arquivo robots.txt. Se você quer bloquear ou permitir que todos os rastreadores do Google acessem seu conteúdo, será possível fazer isso especificando o Googlebot como user agent. Por exemplo, se você quiser que todas as suas páginas apareçam na Pesquisa Google e que os anúncios do Google AdSense apareçam nelas, um arquivo robots.txt não será necessário. De modo semelhante, se você quiser bloquear algumas páginas do Google de uma só vez, o bloqueio do user agent Googlebot também bloqueará todos os outros user agents do Google.

É possível ter um controle maior com ações mais específicas. Por exemplo, talvez você queira que todas as suas páginas apareçam na Pesquisa Google, mas que as imagens em seu diretório pessoal não sejam rastreadas. Nesse caso, use o robots.txt para proibir que o user agent Googlebot-Image rastreie os arquivos no seu diretório pessoal (enquanto permite que o Googlebot rastreie todos os arquivos) desta maneira:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Para usar outro exemplo, digamos que você queira anúncios em todas as suas páginas, mas que essas páginas não apareçam na Pesquisa Google. Aqui você bloquearia o Googlebot, mas permitiria o user agent Mediapartners-Google, desta maneira:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

User agents em tags robots meta

Algumas páginas usam várias tags robots meta para especificar regras para diferentes rastreadores, desta forma:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Nesse caso, o Google vai usar a soma das regras negativas, e o Googlebot vai seguir as regras noindex e nofollow. Veja informações mais detalhadas sobre como controlar o rastreamento e a indexação do seu site pelo Google.

Como controlar a velocidade de rastreamento

Cada rastreador do Google acessa sites para uma finalidade específica e em frequências diferentes. O Google usa algoritmos para determinar a taxa de rastreamento ideal para cada site. Se um rastreador do Google rastreia seu site com muita frequência, você pode reduzir a taxa de rastreamento.

Rastreadores do Google desativados

Os rastreadores do Google a seguir não estão mais em uso e são mencionados apenas para referência histórica.

Rastreadores do Google desativados
Duplex na Web	Era compatível com o serviço Duplex na Web. Token do user agent DuplexWeb-Google String completa do user agent Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Web Light	Conferia a presença do cabeçalho no-transform sempre que um usuário clicava na página na Pesquisa sob as condições apropriadas. O user agent do Web Light era usado somente para solicitações explícitas de navegação de visitantes humanos. Portanto, ele ignorava as regras do robots.txt, que são usadas para bloquear solicitações de rastreamento automatizadas. Token do user agent googleweblight String completa do user agent Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19