Retirada de URLs (1.ª parte): URLs y directorios

Martes, 30 de marzo del 2010

Hoy en día se puede encontrar una gran cantidad de contenido publicado en Internet. En algún momento, puede aparecer algún contenido online que preferirías que no estuviera (desde una polémica entrada de blog que te arrepientes de haber publicado hasta información confidencial que se ha publicado por accidente). En la mayoría de los casos, cuando se elimina ese contenido o se restringe el acceso, el contenido deja de aparecer en los resultados de búsqueda de forma natural transcurrido un tiempo. Sin embargo, si necesitas retirar de forma urgente contenido no deseado que haya indexado Google y no quieres esperar a que desaparezca de forma natural, puedes utilizar nuestra herramienta de retirada de URLs para acelerar el proceso de retirada de contenido de los resultados de búsqueda, siempre que se cumplan una serie de requisitos que indicamos más abajo.

Hemos preparado una serie de entradas de blog en las que explicamos cómo retirar correctamente diferentes tipos de contenido y qué errores frecuentes conviene evitar. En esta primera entrada hablaré de algunos aspectos básicos, como la retirada de una única URL, la retirada de la totalidad de un directorio o un sitio, y cómo volver a incluir contenido retirado. También te recomiendo que consultes la entrada anterior sobre cómo gestionar la información disponible sobre ti en Internet.

Eliminación de una única URL

En general, para que las solicitudes de retirada se acepten, el propietario de las URLs en cuestión, ya sea el propio usuario u otra persona, debe confirmar que está de acuerdo con la retirada de ese contenido. En el caso de una URL individual, el propietario puede realizar alguna de las acciones que se indican a continuación para eliminar el contenido:

Antes de enviar una solicitud de eliminación, puedes comprobar que la página esté bloqueada correctamente mediante alguno de los métodos que se indican a continuación.

  • Archivo robots.txt: para comprobar si la URL está bloqueada correctamente, utiliza las funciones Explorar como el robot de Google o Probar robots.txt de Herramientas para webmasters.
  • Etiqueta meta noindex: puedes usar Explorar como el robot de Google para asegurarte de que la etiqueta meta aparece entre las etiquetas <head> y </head>. Si quieres comprobar una página que no puedes verificar en Herramientas para webmasters, puedes abrir la URL en un navegador, ir a Ver > Código fuente de la página y comprobar que haya una etiqueta meta entre las etiquetas <head> y </head>.
  • Código de estado 404 y 410: puedes usar Explorar como el robot de Google, o herramientas como Live HTTP Headers o web-sniffer.net para verificar si la URL devuelve el código correcto. En ocasiones, las páginas "retiradas" pueden mostrar "404" o "Página no encontrada", aunque en realidad devuelvan un código de estado 200 en el encabezado de la página, por lo que te recomendamos que uses una herramienta de comprobación de encabezados adecuada.

Si se ha retirado el contenido no deseado de una página, pero la página no se ha bloqueado de ninguna de las formas indicadas anteriormente, no podrás retirar esa URL por completo de los resultados de búsqueda. Esta incidencia es más habitual en los casos en los que el usuario no es el propietario del sitio que aloja el contenido. Explicaremos los pasos que debes seguir en esta situación en una entrada posterior, la 2.ª parte de nuestra serie sobre retiradas.

Si una URL cumple uno de los criterios anteriores, puedes retirarla. Para ello, ve a la herramienta de retirada, introduce la URL que quieras retirar y selecciona la opción "El webmaster ya ha bloqueado la página". Ten en cuenta que debes introducir la URL en la que esté alojado el contenido, no la que aparezca en el resultado de búsqueda de Google. Por ejemplo, escribe https://www.example.com/embarrassing-stuff.html y no https://www.google.com/search?q=embarrassing+stuff.

En este artículo del Centro de Ayuda encontrarás más detalles sobre cómo indicar la URL correcta. Recuerda que si no indicas la URL exacta que no quieres que aparezca, no podremos retirar el contenido problemático.

Eliminación de la totalidad de un directorio o de un sitio

Para que se pueda retirar la totalidad de un sitio o de un directorio, el sitio o el directorio en cuestión debe estar bloqueado en el archivo robots.txt del sitio. Por ejemplo, para retirar el directorio https://www.example.com/secret/, tu archivo robots.txt tendría que incluir lo siguiente: 

User-agent: *
Disallow: /secret/

No basta con que el directorio raíz devuelva un código de estado 404, ya que es posible que un directorio muestre un 404 y que sigan apareciendo los archivos que contiene. El uso del archivo robots.txt para bloquear un directorio (o todo un sitio) asegura que también se bloqueen todas las URLs incluidas en ese directorio (o en ese sitio). Para comprobar si un directorio se ha bloqueado correctamente, utiliza las funciones Explorar como el robot de Google o Probar robots.txt de Herramientas para webmasters.

Solo los propietarios verificados de un sitio pueden solicitar la retirada de un sitio o de un directorio completos en Herramientas para webmasters. Para solicitar la retirada de un sitio o de un directorio, haz clic en el sitio en cuestión y, a continuación, ve a Configuración del sitio > Acceso de rastreadores > Eliminar URL. Si introduces el directorio raíz del sitio como la URL que quieres retirar, se te pedirá que confirmes si quieres retirar todo el sitio. Si introduces un subdirectorio, selecciona la opción "Eliminar directorio" del menú desplegable.

Cómo volver a incluir contenido

Puedes cancelar las solicitudes de retirada de un sitio en cualquier momento, incluidas las solicitudes enviadas por otros usuarios. Para ello, debes ser un propietario verificado del sitio en Herramientas para webmasters. Una vez que hayas verificado la propiedad, ve a Configuración del sitio > Acceso de rastreadores > Eliminar URL > URL eliminadas (o > Enviadas por otros) y haz clic en el enlace "Cancelar" situado junto a las solicitudes que quieras cancelar.

Si aún tienes preguntas, no te pierdas el resto de la serie sobre cómo retirar contenido de los resultados de búsqueda de Google. Si no puedes esperar a las próximas entradas, consulta el foro de ayuda, donde encontrarás información sobre la retirada de URLs y cómo resolver problemas de casos concretos. Si sigues teniendo dudas después de leer las experiencias de otros usuarios, puedes publicar tus preguntas. Ten en cuenta que, en la mayoría de los casos, es difícil ofrecer un asesoramiento adecuado sin conocer el sitio o la URL en cuestión. Te recomendamos que compartas la URL a través de un servicio de acortamiento de URL para que no se indexe como parte de tu entrada. Algunos de estos servicios te permiten incluso recuperar la longitud original de la URL una vez que se ha resuelto tu problema.

Por último, puede que también te interese consultar cómo gestionar qué información está disponible sobre ti online.

Publicado por Susan Moskwa, Analista de Webmaster Trends.