Reducir la frecuencia de rastreo de Google

La infraestructura de rastreo de Google cuenta con algoritmos sofisticados para determinar la frecuencia óptima de rastreo de un sitio. En cada visita, se intentan rastrear tantas páginas de tu sitio como sea posible sin sobrecargar el servidor. En algunos casos, el rastreo que hace Google de tu sitio web puede llegar a imponer una carga excesiva en tu infraestructura o generar costes no deseados por una interrupción del servicio. Para solucionar este problema, puedes reducir el número de solicitudes de los rastreadores de Google.

Identificar la causa de un aumento brusco del rastreo

Se puede producir un aumento considerable del rastreo si hay deficiencias en la estructura de tu sitio o problemas con tu sitio. Según los informes que hemos recibido en el pasado, las causas más habituales son las siguientes:

  • Una configuración ineficiente de las URLs del sitio, que suele deberse a una funcionalidad específica del sitio:
    • La navegación por facetas u otras funciones de ordenación y filtrado del sitio
    • Un calendario con muchas URLs para fechas específicas
  • Un objetivo de anuncios dinámicos de búsqueda

Te recomendamos que te pongas en contacto con tu empresa de alojamiento y consultes los registros de acceso recientes de tu servidor para saber cuál es la fuente del tráfico y comprobar si se ajusta a las causas habituales de este aumento tan brusco en el rastreo. Después, consulta nuestras guías sobre cómo gestionar el rastreo de URLs de navegación por facetas y optimizar la eficiencia del rastreo.

Reducir urgentemente el tráfico del rastreador (en caso de emergencia)

Si necesitas reducir urgentemente la frecuencia de rastreo durante un periodo breve (por ejemplo, un par de horas o 1 o 2 días), devuelve un código de respuesta HTTP 500, 503 o 429 en lugar de 200 a las solicitudes de rastreo. La infraestructura de rastreo de Google reduce la frecuencia de rastreo de tu sitio cuando detecta un número significativo de URLs con códigos de estado de respuesta HTTP 500, 503 o 429; por ejemplo, si has inhabilitado tu sitio web. La reducción de la frecuencia de rastreo afecta a todo el nombre de host de tu sitio (por ejemplo, subdomain.example.com), tanto al rastreo de las URLs que devuelven errores como al de las URLs que devuelven contenido. Una vez que se haya reducido el número de estos errores, la frecuencia de rastreo empezará a aumentar automáticamente.

Solicitudes excepcionales para reducir la frecuencia de rastreo

Si no es posible enviar errores a los rastreadores de Google en tu infraestructura, presenta una solicitud especial para informar de un problema con una frecuencia de rastreo inusualmente alta, indicando la frecuencia óptima para tu sitio. No puedes solicitar un aumento de la frecuencia de rastreo, y la solicitud puede tardar varios días en evaluarse y aprobarse.