Como o Google interpreta a especificação de robots.txt

Os rastreadores automatizados do Google são compatíveis com o protocolo de exclusão de robôs (REP, na sigla em inglês). Isso significa que, antes de rastrear um site, os rastreadores do Google fazem o download e analisam o arquivo robots.txt do site para extrair informações sobre quais partes podem ser rastreadas. O REP não é aplicável a rastreadores do Google controlados por usuários (por exemplo, assinaturas de feed) nem a rastreadores usados para aumentar a segurança do usuário (por exemplo, análise de malware).

Esta página descreve como o Google interpreta o REP. Para acessar o protocolo original, consulte a RFC 9309 (em inglês).

O que é um arquivo robots.txt

Se você não quiser que os rastreadores acessem determinadas seções do seu site, crie um arquivo robots.txt com regras apropriadas. O robots.txt é um arquivo de texto simples que contém regras sobre quais rastreadores podem acessar determinadas partes de um site. Por exemplo, confira o arquivo robots.txt de example.com:

# This robots.txt file controls crawling of URLs under https://example.com.
# All crawlers are disallowed to crawl files in the "includes" directory, such
# as .css, .js, but Google needs them for rendering, so Googlebot is allowed
# to crawl them.
User-agent: *
Disallow: /includes/

User-agent: Googlebot
Allow: /includes/

Sitemap: https://example.com/sitemap.xml

Caso você não saiba muito sobre robots.txt, leia nossa introdução ao robots.txt. Confira também dicas para criar um arquivo robots.txt.

Localização do arquivo e período de validade

Você precisa colocar o arquivo robots.txt no diretório de nível superior do site, em um protocolo compatível. O URL do arquivo robots.txt diferencia maiúsculas e minúsculas, assim como outros URLs. No caso da Pesquisa Google, os protocolos compatíveis são o HTTP, HTTPS e FTP. Para HTTP e HTTPS, os rastreadores buscam o arquivo robots.txt com uma solicitação GET não condicional HTTP. Para FTP, eles usam um comando RETR (RETRIEVE) padrão com um login anônimo.

As regras listadas no arquivo robots.txt se aplicam somente ao host, ao protocolo e ao número da porta em que o arquivo robots.txt está hospedado.

Exemplos de URLs robots.txt válidos

A tabela a seguir mostra exemplos de URLs de robots.txt e indica para quais caminhos de URL eles são válidos. A primeira coluna tem o URL de um arquivo robots.txt, e a segunda, os domínios aos quais esse arquivo se aplica ou não.

Como lidar com erros e códigos de status HTTP

Ao solicitar um arquivo robots.txt, o código de status HTTP da resposta do servidor afeta como esse arquivo vai ser usado pelos rastreadores do Google. A tabela a seguir resume como o Googlebot trata arquivos robots.txt com diferentes códigos de status HTTP.

Armazenamento em cache

O Google geralmente armazena em cache o conteúdo do arquivo robots.txt por até 24 horas ou por mais tempo em situações em que não é possível fazer a atualização da versão em cache (por exemplo, devido a tempos limite ou erros 5xx). A resposta em cache pode ser compartilhada por diferentes rastreadores. O Google pode aumentar ou diminuir a duração do cache baseado em cabeçalhos HTTP Cache-Control max-age (em inglês).

Formato do arquivo

O arquivo robots.txt precisa ser um arquivo de texto simples codificado em UTF-8. Além disso, as linhas precisam ser separadas por CR, CR/LF ou LF.

O Google ignora linhas inválidas em arquivos robots.txt, incluindo a marca de ordem de byte (BOM, na sigla em inglês) Unicode no início do arquivo robots.txt, e usa apenas linhas válidas. Por exemplo, se o conteúdo transferido for HTML em vez de regras do robots.txt, o Google vai tentar analisar o conteúdo e extrair as regras, ignorando todo o restante.

Da mesma forma, se a codificação de caracteres do arquivo robots.txt não for UTF-8, o Google vai poder ignorar caracteres que não fazem parte do intervalo UTF-8, o que pode tornar as regras do robots.txt inválidas.

Atualmente o Google impõe um limite de tamanho de arquivo robots.txt de 500 kibibytes (KiB). Os conteúdos que ultrapassarem o tamanho máximo do arquivo vão ser ignorados. Você pode reduzir o tamanho do arquivo robots.txt consolidando as regras que resultariam em um arquivo robots.txt muito grande. Por exemplo, coloque o material excluído em um diretório específico.

Sintaxe

As linhas válidas do robots.txt consistem em um campo, dois pontos e um valor. Os espaços são opcionais, mas são recomendados para melhorar a legibilidade. O espaço em branco no início e no final da linha é ignorado. Para incluir comentários, coloque o caractere # no início do seu comentário. Lembre-se de que tudo o que estiver depois do caractere # vai ser ignorado. O formato geral é <field>:<value><#optional-comment>.

O Google é compatível com os seguintes campos (outros campos, como crawl-delay, não são compatíveis):

• user-agent: identifica a que rastreador as regras se aplicam.
• allow: é um caminho de URL que pode ser rastreado.
• disallow: é um caminho de URL que não pode ser rastreado.
• sitemap: é o URL completo de um sitemap.

Os campos allow e disallow também são chamados de regras (conhecidas como diretivas). Essas regras estão sempre especificadas em rule: [path], em que [path] é opcional. Por padrão, não há restrições para os rastreadores designados. Os rastreadores ignoram regras sem um [path].

O valor [path], se especificado, é relacionado à raiz do site em que o arquivo robots.txt foi buscado (usando o mesmo protocolo, número de porta, nomes de host e domínio). O valor do caminho precisa começar com / para designar a raiz e diferencia maiúsculas de minúsculas. Saiba mais sobre a correspondência de URLs com base em valores de caminho.

user-agent

A linha user-agent identifica a que rastreador as regras se aplicam. Consulte os rastreadores e strings de user agent do Google para conferir uma lista completa de strings de user agent que podem ser usadas no arquivo robots.txt.

O valor da linha user-agent não diferencia maiúsculas e minúsculas.

disallow

A regra disallow especifica os caminhos que não podem ser acessados pelos rastreadores identificados na linha de user-agent agrupada com a regra disallow. Os rastreadores ignoram a regra sem caminho.

O Google não pode indexar o conteúdo das páginas que ele não tem permissão para rastrear, mas ainda é possível indexar o URL e exibir nos resultados da pesquisa sem um snippet. Saiba como bloquear a indexação.

O valor da regra disallow diferencia maiúsculas de minúsculas.

Uso:

disallow: [path]

allow

A regra allow especifica os caminhos que podem ser acessados pelos rastreadores designados. Quando nenhum caminho é especificado, a regra é ignorada.

O valor da regra allow diferencia maiúsculas de minúsculas.

Uso:

allow: [path]

sitemap

O Google, o Bing e outros mecanismos de pesquisa importantes são compatíveis com o campo sitemap no robots.txt, conforme definido pelo sitemaps.org (em inglês).

O valor do campo sitemap diferencia maiúsculas de minúsculas.

Uso:

sitemap: [absoluteURL]

A linha [absoluteURL] aponta para a localização de um sitemap ou arquivo de índice de sitemaps. Ele precisa ser um URL totalmente qualificado, incluindo o protocolo e o host, e não precisa ser codificado para URL. O URL não precisa estar no mesmo host do arquivo robots.txt. É possível especificar vários campos sitemap. O campo do sitemap não está vinculado a user agents específicos e vai poder ser seguido por todos os rastreadores, contanto que não esteja proibido.

Exemplo:

user-agent: otherbot
disallow: /kale

sitemap: https://example.com/sitemap.xml
sitemap: https://cdn.example.org/other-sitemap.xml
sitemap: https://ja.example.org/テスト-サイトマップ.xml

Agrupamento de linhas e regras

É possível agrupar regras que se aplicam a vários user agents ao repetir as linhas user-agent para cada rastreador.

Exemplo:

user-agent: a
disallow: /c

user-agent: b
disallow: /d

user-agent: e
user-agent: f
disallow: /g

user-agent: h

Neste exemplo, há quatro grupos de regras distintos:

• Um grupo para o user agent "a"
• Um grupo para o user agent "b"
• Um grupo para os user agents "e" e "f"
• Um grupo para o user agent "h"

Para conferir a descrição técnica de um grupo, consulte a seção 2.1 do protocolo de exclusão de robôs (em inglês).

Ordem de precedência para user agents

Somente um grupo é válido para um determinado rastreador. Os rastreadores do Google determinam o grupo de regras correto, localizando no arquivo robots.txt o grupo com o user agent mais específico que corresponde ao user agent do rastreador. Os outros grupos são ignorados. Todo texto não correspondente é ignorado (por exemplo, googlebot/1.2 e googlebot* são equivalentes a googlebot). A ordem dos grupos no arquivo robots.txt é irrelevante.

Se houver mais de um grupo específico declarado para um user agent, todas as regras dos grupos aplicáveis a ele vão ser combinadas internamente em um único grupo. Os grupos específicos de user agents e os grupos globais (*) não são combinados.

Exemplos

Correspondência de campos user-agent

user-agent: googlebot-news
(group 1)

user-agent: *
(group 2)

user-agent: googlebot
(group 3)

Esta é a forma como os rastreadores escolheriam o grupo relevante:

Agrupamento de regras

Se houver vários grupos em um arquivo robots.txt que sejam relevantes para um user agent específico, os rastreadores do Google vão combinar os grupos internamente. Exemplo:

user-agent: googlebot-news
disallow: /fish

user-agent: *
disallow: /carrots

user-agent: googlebot-news
disallow: /shrimp

Os rastreadores agrupam as regras internamente com base no user agent, por exemplo:

user-agent: googlebot-news
disallow: /fish
disallow: /shrimp

user-agent: *
disallow: /carrots

Regras diferentes de allow, disallow e user-agent são ignoradas pelo analisador robots.txt. Isso significa que o snippet do robots.txt a seguir é tratado como um grupo. Portanto, user-agent a e b são afetados pela regra disallow: /:

user-agent: a
sitemap: https://example.com/sitemap.xml

user-agent: b
disallow: /

Quando os rastreadores processam as regras do robots.txt, eles ignoram a linha sitemap. Por exemplo, os rastreadores entendem o snippet anterior do robots.txt da seguinte forma:

user-agent: a
user-agent: b
disallow: /

Correspondência de URLs com base em valores de caminho

O Google usa o valor do caminho nas regras allow e disallow como base para determinar se uma regra se aplica a um URL específico em um site. A regra é comparada ao componente do caminho do URL que o rastreador está tentando buscar. Caracteres ASCII que não contêm sete bits em um caminho podem ser incluídos como caracteres UTF-8 ou como caracteres codificados UTF-8 com porcentagem de escape, de acordo com a RFC 3986 (em inglês).

O Google, o Bing e outros mecanismos de pesquisa importantes são compatíveis com uma forma limitada de caracteres curinga para valores de caminho:

• * designa 0 ou mais instâncias de qualquer caractere válido.
• $ designa o final do URL.

A tabela a seguir mostra como os diferentes caracteres curinga afetam a análise:

Ordem de precedência para regras

Ao fazer a correspondência entre as regras do robots.txt e os URLs, os rastreadores usam a regra mais específica baseada no tamanho do caminho. No caso de regras conflitantes, incluindo as com caracteres curingas, o Google usa a regra menos restritiva.

Os exemplos a seguir demonstram qual regra os rastreadores do Google vão aplicar a um determinado URL.

allow: /p
disallow: /

allow: /folder
disallow: /folder

allow: /page
disallow: /*.htm

allow: /page
disallow: /*.ph

allow: /$
disallow: /

allow: /$
disallow: /