Actualizar el archivo robots.txt

Para actualizar las reglas del archivo robots.txt, descarga una copia desde tu sitio y haz los cambios que consideres necesarios.

Descargar el archivo robots.txt

Puedes descargar el archivo robots.txt de varias formas. Algunas de ellas son las siguientes:

• Ve al archivo robots.txt (por ejemplo, desde la ruta https://example.com/robots.txt) y copia su contenido en un nuevo archivo de texto del ordenador. Recuerda seguir las directrices relacionadas con el formato de archivo al crear el nuevo archivo local.
• Descarga una copia real del archivo robots.txt con una herramienta como cURL. Por ejemplo:

  curl https://example.com/robots.txt -o robots.txt

• Con el Probador de robots.txt de Search Console podrás descargar una copia de tu archivo robots.txt.
  1. En la esquina inferior derecha del editor de robots.txt, haz clic en Enviar para que se abra un cuadro de diálogo.
  2. En este cuadro de diálogo Enviar, haz clic en el botón Descargar para descargar el código de robots.txt de la página Probador de robots.txt.

Editar el archivo robots.txt

Abre el archivo robots.txt que has descargado de tu sitio en un editor de texto y haz los cambios necesarios en las reglas. Debes utilizar la sintaxis correcta y guardar el archivo con codificación UTF-8.

Subir el archivo robots.txt

Sube tu nuevo archivo robots.txt a la raíz del dominio como un archivo de texto llamado "robots.txt". La forma de subir un archivo a tu sitio depende de la plataforma y del servidor que se use. Consulta nuestros consejos sobre cómo subir un archivo robots.txt a tu sitio.

Actualizar la caché del archivo robots.txt de Google

Durante el proceso de rastreo automático, los rastreadores de Google detectan los cambios que has hecho en el archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas. Si necesitas actualizar la caché con mayor rapidez, utiliza la función Enviar del Probador de robots.txt.

1. Haz clic en Ver la versión subida para comprobar que la versión del archivo robots.txt que está publicada sea la que quieres que Google rastree.
2. Haz clic en Enviar para avisar a Google de que el archivo robots.txt ha cambiado y solicitarle que lo rastree.
3. Para comprobar que Google haya rastreado correctamente la versión más reciente, actualiza la página del navegador donde tienes abierto el editor de la herramienta y confirma que el código de robots.txt publicado sea el que te interesa. Después de actualizar la página, también puedes hacer clic en el menú desplegable para ver la marca de tiempo del momento en que Google vio por primera vez la versión más reciente de tu archivo robots.txt.