Atualizar seu arquivo robots.txt

Para atualizar as regras do seu arquivo robots.txt, faça o download de uma cópia desse arquivo no seu site e faça as edições necessárias.

Fazer o download do arquivo robots.txt

Você pode fazer o download do seu arquivo robots.txt de várias maneiras, por exemplo:

  • Acesse o arquivo robots.txt, como https://example.com/robots.txt, e copie o conteúdo dele em um novo arquivo de texto no seu computador. Siga as diretrizes relacionadas ao formato do arquivo ao criar o novo arquivo local.
  • Faça o download de uma cópia real do seu arquivo robots.txt com uma ferramenta como cURL. Exemplo: 
    curl https://example.com/robots.txt -o robots.txt
  • Use a ferramenta Testar robots.txt no Search Console para fazer o download de uma cópia do arquivo robots.txt.
    1. Clique em Enviar no canto inferior esquerdo do editor de robots.txt. Essa ação abre uma caixa de diálogo "Enviar".
    2. Faça o download do código do robots.txt na página da ferramenta Testar robots.txt clicando em Download na caixa de diálogo Enviar.

Editar seu arquivo robots.txt

Abra o arquivo robots.txt transferido do site em um editor de texto e faça as edições necessárias nas regras. Use a sintaxe correta e salve o arquivo com a codificação UTF-8.

Fazer upload do arquivo robots.txt

Faça upload do novo arquivo robots.txt para a raiz do domínio como um arquivo de texto chamado robots.txt. A forma como você faz upload de um arquivo para seu site depende muito da plataforma e do servidor. Consulte nossas dicas para receber ajuda com o upload de um arquivo robots.txt para seu site.

Atualizar o cache do robots.txt do Google

Durante o processo de rastreamento automático, os rastreadores do Google detectam as mudanças feitas no arquivo robots.txt e atualizam a versão em cache a cada 24 horas. Se você precisar atualizar o cache mais rapidamente, use a função Enviar da ferramenta Testar robots.txt.

  1. Clique em Visualizar versão atualizada para confirmar se o robots.txt publicado é a versão que você quer que o Google rastreie.
  2. Clique em Enviar para notificar o Google sobre as mudanças no arquivo robots.txt e solicitar o rastreamento.
  3. Verifique se a versão mais recente foi indexada corretamente pelo Google. Para isso, atualize a página do navegador a fim de renovar o editor da ferramenta e conferir o código do robots.txt publicado. Depois de atualizar a página, clique no menu suspenso para ver o carimbo de data/hora em que o Google detectou a versão mais recente do seu arquivo robots.txt pela primeira vez.