Mettre à jour votre fichier robots.txt

Pour mettre à jour les règles de votre fichier robots.txt, téléchargez une copie de ce fichier à partir de votre site, puis apportez les modifications nécessaires.

Télécharger votre fichier robots.txt

Vous pouvez télécharger votre fichier robots.txt de différentes manières :

Accédez à votre fichier robots.txt (sous https://example.com/robots.txt, par exemple), puis copiez son contenu dans un nouveau fichier texte sur votre ordinateur. Veillez à suivre les consignes relatives au format de fichier lors de la création du fichier local.
Téléchargez une copie réelle de votre fichier robots.txt à l'aide d'un outil comme cURL. Exemple :
```
curl https://example.com/robots.txt -o robots.txt
```
Utilisez l'outil de test du fichier robots.txt de la Search Console pour télécharger une copie de votre fichier robots.txt.
1. Cliquez sur Envoyer dans l'angle inférieur droit de l'éditeur de fichier robots.txt. Cette action permet d'ouvrir une boîte de dialogue "Envoyer".
2. Téléchargez le code de votre fichier robots.txt depuis la page de l'outil de test du fichier robots.txt. Pour ce faire, cliquez sur le bouton Télécharger de la boîte de dialogue Envoyer.

Modifier le fichier robots.txt

Ouvrez le fichier robots.txt que vous avez téléchargé depuis votre site dans un éditeur de texte et apportez les modifications nécessaires aux règles. Veillez à utiliser la syntaxe correcte et à enregistrer le fichier avec un encodage UTF-8.

Importer votre fichier robots.txt

Importez le nouveau fichier robots.txt à la racine de votre domaine en tant que fichier texte avec le nom robots.txt. La méthode de transfert d'un fichier vers votre site dépend en grande partie de la plate-forme et du serveur. Pour en savoir plus sur l'importation d'un fichier robots.txt sur votre site, consultez ces conseils.

Actualiser le cache robots.txt de Google

Au cours du processus d'exploration automatique, les robots d'exploration Google remarquent les modifications que vous avez apportées à votre fichier robots.txt et mettent à jour la version en cache toutes les 24 heures. Si vous devez mettre à jour le cache plus rapidement, utilisez la fonction Envoyer de l'outil de test du fichier robots.txt.

Cliquez sur Consulter la version importée pour vérifier que le fichier robots.txt en ligne est bien la version que nous devons explorer.
Cliquez sur Envoyer la version en ligne pour nous signaler que votre fichier robots.txt a été modifié et nous demander de l'explorer.
Vérifiez que votre dernière version a été correctement explorée en actualisant la page dans votre navigateur afin de mettre à jour l'éditeur de l'outil et de consulter votre code de fichier robots.txt en ligne. Une fois la page actualisée, vous pouvez également cliquer sur le menu déroulant pour afficher l'horodatage qui indique à quel moment nous avons vu pour la première fois la dernière version de votre fichier robots.txt.