Lista de los rastreadores habituales de Google

Los rastreadores habituales de Google se utilizan para buscar información con el fin de crear índices de búsqueda de Google, hacer otros rastreos específicos de productos y para los análisis. Siempre obedecen las reglas de robots.txt cuando rastrean automáticamente. Las propiedades técnicas generales de los rastreadores de Google también se aplican a los rastreadores comunes.

Los rastreadores habituales suelen realizar el rastreo desde los intervalos de IP publicados en el objeto googlebot.json, y la máscara de DNS invertida de su nombre de host coincide con crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com.

En la siguiente lista se muestran los rastreadores habituales, sus cadenas de user-agent tal como aparecen en las solicitudes HTTP, sus tokens de user-agent de la línea User-agent: en robots.txt y los productos que se ven afectados por las preferencias de rastreo del rastreador. Como se muestra en la tabla, algunos rastreadores tienen más de un token de user-agent; en estos casos, solo es necesario incluir uno de ellos en una regla para que el rastreador en cuestión la respete. La lista no es exhaustiva, solo cubre los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los que hemos recibido preguntas.

User-Agent en solicitudes HTTP
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Raramente:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Token de user-agent en robots.txt Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Productos afectados Las preferencias de rastreo dirigidas al user-agent Googlebot afectan a la Búsqueda de Google (incluidas Discover y todas las funciones de la Búsqueda de Google), así como a otros productos como Google Imágenes, Google Vídeo, Google News y Discover.
User-agent en solicitudes HTTP 
Googlebot-Image/1.0
robots.txt
Token de user-agent en robots.txt Googlebot-Image
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Productos afectados Las preferencias de rastreo dirigidas al user-agent Googlebot-Image afectan a Google Imágenes, Discover, Google Vídeo y a todas las funciones de la Búsqueda de Google en las que se presentan imágenes, logotipos e iconos de página.
User-agent en solicitudes HTTP 
Googlebot-Video/1.0
robots.txt
Token de user-agent en robots.txt Googlebot-Video
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent Googlebot-Video afectan a funciones de la Búsqueda de Google relacionadas con vídeos y otros productos que dependen de ellos.
User-agent en solicitudes HTTP Googlebot-News no tiene una cadena de user-agent de solicitud HTTP independiente. El rastreo se hace con diferentes cadenas de user-agent del robot de Google.
robots.txt
Token de user-agent en robots.txt Googlebot-News
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent Googlebot-News afectan a todas las superficies de Google News (por ejemplo, la pestaña Noticias de la Búsqueda y la aplicaciónde Google News).
User-agent en solicitudes HTTP
User-agent en ordenadores 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
User-agent en dispositivos móviles 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Token de user-agent en robots.txt Storebot-Google
Ejemplo de grupo de robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Productos afectados Las preferencias de rastreo dirigidas al user-agent Storebot-Google afectan a todas las superficies de Google Shopping (por ejemplo, la pestaña Shopping de la Búsqueda de Google y Google Shopping).
User-agent en solicitudes HTTP
User-agent en ordenadores 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
User-agent en dispositivos móviles 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Token de user-agent en robots.txt Google-InspectionTool
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al agente de usuario Google-InspectionTool afectan a las herramientas de prueba de la Búsqueda, como la prueba de resultados enriquecidos y la inspección de URLs en Search Console. No afecta a la Búsqueda de Google ni a otros productos.
User-agent en solicitudes HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Token de user-agent en robots.txt GoogleOther
Ejemplo de grupo de robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent GoogleOther no afectan ningún producto específico. GoogleOther es el rastreador genérico que pueden utilizar diversos equipos de producto para obtener contenido de acceso público de sitios. Por ejemplo, puede usarse en rastreos únicos para fines de investigación y desarrollo internos. No afecta a la Búsqueda de Google ni a otros productos.
User-agent en solicitudes HTTP 
GoogleOther-Image/1.0
robots.txt
Token de user-agent en robots.txt GoogleOther-Image
GoogleOther
Ejemplo de grupo de robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Productos afectados Las preferencias de rastreo dirigidas al user-agent GoogleOther-Image no afectan a ningún producto específico, al igual que GoogleOther. GoogleOther-Image es la versión de GoogleOther optimizada para obtener URLs de imágenes accesibles públicamente.
User-agent en solicitudes HTTP 
GoogleOther-Video/1.0
robots.txt
Token de user-agent en robots.txt GoogleOther-Video
GoogleOther
Ejemplo de grupo de robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Productos afectados Las preferencias de rastreo dirigidas al user-agent GoogleOther-Video no afectan a ningún producto específico, al igual que GoogleOther. GoogleOther-Video es la versión de GoogleOther optimizada para obtener URLs de vídeos de acceso público.
Cadena secundaria de user-agent en solicitudes HTTP 
Google-CloudVertexBot
robots.txt
Token de user-agent en robots.txt Google-CloudVertexBot
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent Google-CloudVertexBot afectan a los rastreos solicitados por los propietarios de sitios para crear agentes de Vertex AI. No afecta a la Búsqueda de Google ni a otros productos.
User-agent en solicitudes HTTP Google-Extended no tiene una cadena de user-agent de solicitud HTTP independiente. El rastreo se hace con las cadenas de user-agent de Google. El token de user-agent de robots.txt se utiliza en como control.
robots.txt
Token de user-agent en robots.txt Google-Extended
Ejemplo de grupo de robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Productos afectados Google-Extended es un token de producto independiente que los editores de sitios web pueden usar para gestionar si sus sitios ayudan a mejorar las APIs generativas de las aplicaciones de Gemini y Vertex AI, incluidas las generaciones futuras de los modelos que sustentan esos productos. La función de vinculación con la Búsqueda de Google de Vertex AI no utiliza páginas web para la vinculación que hayan inhabilitado la extensión de Google. Google-Extended no afecta a la inclusión ni al posicionamiento de los sitios en la Búsqueda de Google.

Nota sobre Chrome/W.X.Y.Z en user-agents

La cadena Chrome/W.X.Y.Z en los user-agents de la lista es un marcador de posición que representa la versión del navegador Chrome que usa ese user-agent (por ejemplo, 41.0.2272.96). Este número irá aumentando con el tiempo para reflejar la versión más reciente de Chromium que utiliza el robot de Google.

Si buscas en tus registros o filtras tu servidor por un user-agent que tenga este patrón, te recomendamos que no indiques un número de versión exacto, sino que utilices comodines.