Actualizar el archivo robots.txt

Para actualizar las reglas del archivo robots.txt, descarga una copia desde tu sitio y haz los cambios que consideres necesarios.

Descargar el archivo robots.txt

Puedes descargar el archivo robots.txt de varias formas. Algunas de ellas son las siguientes:

• Ve al archivo robots.txt (por ejemplo, desde la ruta https://example.com/robots.txt) y copia su contenido en un nuevo archivo de texto del ordenador. Recuerda seguir las directrices relacionadas con el formato de archivo al crear el nuevo archivo local.
• Descarga una copia real del archivo robots.txt con una herramienta como cURL. Por ejemplo:

  curl https://example.com/robots.txt -o robots.txt

• Usa el informe de robots.txt de Search Console para copiar el contenido de tu archivo robots.txt y pegarlo en un archivo de tu ordenador.

Editar el archivo robots.txt

Abre el archivo robots.txt que has descargado de tu sitio en un editor de texto y haz los cambios necesarios en las reglas. Debes utilizar la sintaxis correcta y guardar el archivo con codificación UTF-8.

Subir el archivo robots.txt

Sube tu nuevo archivo robots.txt al directorio raiz de tu sitio como un archivo de texto llamado "robots.txt". La forma de subir un archivo a tu sitio depende de la plataforma y del servidor que se use. Consulta nuestros consejos sobre cómo subir un archivo robots.txt a tu sitio.

Actualizar la caché del archivo robots.txt de Google

Durante el proceso de rastreo automático, los rastreadores de Google detectan los cambios que has hecho en el archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas. Si necesitas actualizar la caché más rápido, utiliza la función Solicitar un nuevo rastreo del informe robots.txt.