Reduzir a taxa de rastreamento do Googlebot

O Google tem algoritmos sofisticados para determinar a taxa de rastreamento ideal para um site. Nosso objetivo é rastrear o maior número possível de páginas no seu site a cada visita, sem sobrecarregar a largura de banda do servidor. Em alguns casos, o rastreamento que o Google faz do seu site pode causar uma carga crítica na infraestrutura ou custos indesejados durante uma interrupção. Para atenuar esse problema, você pode reduzir o número de solicitações feitas pelo Googlebot.

Se você precisar reduzir com urgência a taxa de rastreamento por um curto período (por exemplo, algumas horas ou um ou dois dias), retorne 500, 503 ou 429 código de status de resposta HTTP em vez de 200 às solicitações de rastreamento. O Googlebot reduz a taxa de rastreamento do site quando encontra um número significativo de URLs com códigos de status de resposta HTTP 500, 503 ou 429 (por exemplo, se você tiver desativado o site). A taxa de rastreamento reduzida afeta todo o nome do host do site (por exemplo, subdomain.example.com), tanto o rastreamento dos URLs que retornam erros quanto os URLs que retornam conteúdo. Quando o número desses erros for reduzido, a taxa de rastreamento começará a aumentar automaticamente.

Um aumento significativo no rastreamento pode ser causado por ineficiências na estrutura do site ou problemas com ele. Consulte nosso guia sobre como otimizar a eficiência do rastreamento.

Se não for possível exibir erros para o Googlebot na sua infraestrutura, registre uma solicitação especial para reduzir a taxa de rastreamento. Não é possível solicitar um aumento na taxa de rastreamento.