Atualizar seu arquivo robots.txt
Para atualizar as regras do seu arquivo robots.txt, faça o download de uma cópia desse arquivo no seu site e faça as edições necessárias.
Fazer o download do arquivo robots.txt
Você pode fazer o download do seu arquivo robots.txt de várias maneiras, por exemplo:
-
Acesse o arquivo robots.txt, como
https://example.com/robots.txt
, e copie o conteúdo dele em um novo arquivo de texto no seu computador. Siga as diretrizes relacionadas ao formato do arquivo ao criar o novo arquivo local. -
Faça o download de uma cópia real do seu arquivo robots.txt com uma ferramenta como cURL. Exemplo:
curl https://example.com/robots.txt -o robots.txt
-
Use a
ferramenta Testar robots.txt
no Search Console para fazer o download de uma cópia do arquivo robots.txt.
- Clique em Enviar no canto inferior esquerdo do editor de robots.txt. Essa ação abre uma caixa de diálogo "Enviar".
- Faça o download do código do robots.txt na página da ferramenta Testar robots.txt clicando em Download na caixa de diálogo Enviar.
Editar seu arquivo robots.txt
Abra o arquivo robots.txt transferido do site em um editor de texto e faça as edições necessárias nas regras. Use a sintaxe correta e salve o arquivo com a codificação UTF-8.
Fazer upload do arquivo robots.txt
Faça upload do novo arquivo robots.txt para a raiz do domínio como um arquivo de texto chamado robots.txt. A forma como você faz upload de um arquivo para seu site depende muito da plataforma e do servidor. Consulte nossas dicas para receber ajuda com o upload de um arquivo robots.txt para seu site.
Atualizar o cache do robots.txt do Google
Durante o processo de rastreamento automático, os rastreadores do Google detectam as mudanças feitas no arquivo robots.txt e atualizam a versão em cache a cada 24 horas. Se você precisar atualizar o cache mais rapidamente, use a função Enviar da ferramenta Testar robots.txt.
- Clique em Visualizar versão atualizada para confirmar se o robots.txt publicado é a versão que você quer que o Google rastreie.
- Clique em Enviar para notificar o Google sobre as mudanças no arquivo robots.txt e solicitar o rastreamento.
- Verifique se a versão mais recente foi indexada corretamente pelo Google. Para isso, atualize a página do navegador a fim de renovar o editor da ferramenta e conferir o código do robots.txt publicado. Depois de atualizar a página, clique no menu suspenso para ver o carimbo de data/hora em que o Google detectou a versão mais recente do seu arquivo robots.txt pela primeira vez.