Mettre à jour votre fichier robots.txt

Pour mettre à jour les règles de votre fichier robots.txt, téléchargez une copie de ce fichier à partir de votre site, puis apportez les modifications nécessaires.

Télécharger votre fichier robots.txt

Vous pouvez télécharger votre fichier robots.txt de différentes manières :

• Accédez à votre fichier robots.txt (sous https://example.com/robots.txt, par exemple), puis copiez son contenu dans un nouveau fichier texte sur votre ordinateur. Veillez à suivre les consignes relatives au format de fichier lors de la création du fichier local.
• Téléchargez une copie réelle de votre fichier robots.txt à l'aide d'un outil comme cURL. Exemple :

  curl https://example.com/robots.txt -o robots.txt

• Utilisez le rapport robots.txt de la Search Console pour copier le contenu de votre fichier robots.txt, que vous pourrez ensuite coller dans un fichier sur votre ordinateur.

Modifier le fichier robots.txt

Ouvrez le fichier robots.txt que vous avez téléchargé depuis votre site dans un éditeur de texte et apportez les modifications nécessaires aux règles. Veillez à utiliser la syntaxe correcte et à enregistrer le fichier avec un encodage UTF-8.

Importer votre fichier robots.txt

Importez le nouveau fichier robots.txt dans le répertoire racine de votre site en tant que fichier texte avec le nom robots.txt. La méthode de transfert d'un fichier vers votre site dépend en grande partie de la plate-forme et du serveur. Pour en savoir plus sur l'importation d'un fichier robots.txt sur votre site, consultez ces conseils.

Actualiser le cache robots.txt de Google

Au cours du processus d'exploration automatique, les robots d'exploration Google remarquent les modifications que vous avez apportées à votre fichier robots.txt et mettent à jour la version en cache toutes les 24 heures. Si vous devez mettre à jour le cache plus rapidement, utilisez la fonction Demander une nouvelle exploration du rapport robots.txt.