Cómo actualizar el archivo robots.txt

Para actualizar las reglas de tu archivo robots.txt existente, descarga una copia de ese archivo desde tu sitio y realiza los cambios necesarios.

Cómo descargar el archivo robots.txt

Puedes descargar el archivo robots.txt de varias maneras, por ejemplo:

• Navega al archivo robots.txt, por ejemplo, https://example.com/robots.txt, y copia su contenido en un archivo de texto nuevo, en la computadora. Asegúrate de seguir los lineamientos relacionados con el formato de archivo cuando crees el archivo local nuevo.
• Descarga una copia real del archivo robots.txt con una herramienta como cURL. Por ejemplo:

  curl https://example.com/robots.txt -o robots.txt

• Usa la herramienta de prueba de robots.txt en Search Console para descargar una copia del archivo robots.txt.
  1. Haz clic en Enviar, en la esquina inferior derecha del editor de robots.txt. Se abrirá el diálogo Enviar.
  2. Descarga el código de robots.txt que se proporciona en la página de la herramienta de prueba de robots.txt. Para ello, haz clic en Descargar, en el diálogo Enviar.

Cómo editar el archivo robots.txt

Abre el archivo robots.txt que descargaste de tu sitio en un editor de texto y realiza los cambios necesarios en las reglas. Asegúrate de utilizar la sintaxis correcta y de guardar el archivo con la codificación UTF-8.

Cómo subir el archivo robots.txt

Sube el nuevo archivo robots.txt a la raíz de tu dominio como un archivo de texto llamado robots.txt. La manera en que debes subir un archivo a tu sitio depende, en gran medida, de la plataforma y del servidor. Consulta nuestras sugerencias a fin de obtener ayuda para subir un archivo robots.txt a tu sitio.

Cómo actualizar la caché de robots.txt de Google

Durante el proceso de rastreo automático, los rastreadores de Google detectan los cambios que realizaste en el archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas. Si necesitas actualizar la caché con mayor rapidez, usa la función Enviar de la herramienta de prueba de robots.txt.

1. Haz clic en Ver la versión subida para comprobar si el archivo robots.txt publicado es la versión que quieres que Google rastree.
2. Haz clic en Enviar para notificar a Google que se realizaron cambios en tu archivo robots.txt y solicitarle que lo rastree.
3. Para verificar que Google haya rastreado correctamente la versión más reciente, actualiza la página en el navegador a fin de actualizar el editor de la herramienta y ver el código de robots.txt publicado. Después de actualizar la página, también puedes hacer clic en el menú desplegable para ver la marca de tiempo de la primera vez que Google vio la versión más reciente del archivo robots.txt.