Como o Google rastreia as páginas adaptáveis à localidade

Caso seu site tenha páginas adaptáveis à localidade, ou seja, retorne conteúdo diferente com base no país detectado ou no idioma preferido do visitante, talvez o Google não consiga rastrear, indexar nem classificar todo o seu conteúdo para diferentes localidades. Isso ocorre porque os endereços IP padrão do rastreador do Googlebot parecem ser dos Estados Unidos. Além disso, o rastreador envia solicitações HTTP sem definir Accept-Language no cabeçalho da solicitação.

Rastreamento distribuído por local geográfico

Além de endereços IP dos EUA, o Googlebot também usa endereços estrangeiros para fazer rastreamentos.

Quando o Googlebot aparentemente for de um determinado país, como sempre, recomendamos que você lide com ele da mesma maneira que faria com qualquer usuário desse país. Isso significa que, se você bloquear o acesso de usuários residentes dos Estados Unidos, mas permitir que visitantes da Austrália vejam o conteúdo, seu servidor precisará bloquear um Googlebot que aparente ser dos Estados Unidos, mas permitir o acesso a outro que pareça vir da Austrália.

Outras considerações

• O Googlebot usa a mesma string de user agent para todas as configurações de rastreamento. Saiba mais sobre as strings do user agent usadas pelos rastreadores do Google.
• É possível verificar os rastreamentos distribuídos por local geográfico do Googlebot usando buscas DNS reversas.
• O site precisa aplicar o protocolo de exclusão de robôs de maneira consistente em todas as localidades. Isso significa que as tags meta de robôs e o arquivo robots.txt precisam especificar as mesmas regras em cada uma das localidades.