Contenido duplicado debido a scrapers

martes, 10 de febrero de 2009

Teniendo en cuenta que el contenido duplicado es un tema candente entre los webmasters, pensamos que es un buen momento para tratar preguntas que nos hacen con regularidad en las conferencias y en el Foro de ayuda para webmasters de Google.

Antes de entrar de lleno en ellas me gustaría referirme rápidamente a un tema que preocupa a los webmasters: en la mayoría de casos un webmaster no tiene ninguna influencia sobre el contenido que terceras partes copian y redistribuyen sin permiso del webmaster. Nos damos cuenta de que no es culpa del webmaster en cuestión, lo que significa que un contenido idéntico se mostrará a la vez en varios sitios web aunque no se considerará en sí una violación de nuestras directrices para webmasters . Esto simplemente lleva a otro proceso con el que se intenta determinar la fuente original del contenido, algo en lo que Google es bastante bueno ya que en la mayoría de casos el contenido original puede ser correctamente identificado y sin tener efectos negativos para el sitio web que ha originado el contenido.

Generalmente, podemos diferenciar entre dos situaciones relacionadas con contenido duplicado:
  • Contenido duplicado en tu propio dominio, por ejemplo contenido idéntico que aparece involuntariamente en más de un lugar en tu sitio web.
  • Contenido duplicado en varios dominios, por ejemplo contenido idéntico el cual aparece, de nuevo involuntariamente, en diferentes sitios web.
En el primer caso, puedes tomar partido y evitar que Google indexe el contenido duplicado de tus sitios web. Échale un vistazo a este artículo de Adam Lasnik, " Deftly dealing with duplicate content " [inglés] y este otro de Vanessa Fox, " Duplicate content summit at SMX Advanced " [inglés] . Ambos ofrecen buenos trucos sobre cómo resolver problemas con el contenido duplicado en tu sitio web. Otro truco más que te puede ayudar a evitar que el contenido de tu página web sea rastreada como contenido duplicado es incluir la URL de la versión que prefiramos en el archivo de sitemap. Esto nos puede ayudar a aumentar las probabilidades de ofrecer la versión que el usuario prefiere cuando encontramos diferentes páginas con el mismo contenido. En el Centro de asistencia se puede encontrar este artículo con información adicional sobre el contenido duplicado.

En el segundo caso, quizás se de la situación en la que alguien está copiando tu conten