Google 的常見檢索器清單

Google 的常見檢索器可用來尋找資訊，以便建構 Google 搜尋索引、執行其他產品專屬的檢索作業，以及進行分析。自動檢索時，這些檢索器一律會遵循 robots.txt 規則。Google 檢索器的一般技術性資源也適用於常見檢索器。

常見檢索器通常會從 googlebot.json 物件中發布的 IP 範圍進行檢索，且主機名稱的反向 DNS 遮罩會與 crawl-***-***-***-***.googlebot.com 或 geo-crawl-***-***-***-***.geo.googlebot.com 相符。

下列清單列出常見檢索器、檢索器出現在 HTTP 要求時的使用者代理程式字串、檢索器出現在 robots.txt 中 User-agent: 這一行時的使用者代理程式符記，以及受檢索器的檢索偏好設定影響的產品。有些檢索器具有多個使用者代理程式符記；只要有一個檢索器符記相符，規則就會生效。這份清單僅列舉部分檢索器，內容僅涵蓋記錄檔中較有可能出現的要求者，以及我們收到問題的檢索器。

HTTP 要求中的 User-Agent
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

鮮少：

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
robots.txt 中的使用者代理程式符記 Googlebot
範例 robots.txt 群組 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
受影響的產品 針對 Googlebot 使用者代理程式指定的檢索偏好設定會影響 Google 搜尋 (包括探索和所有 Google 搜尋功能) 和其他產品 (例如 Google 圖片、Google 影片、Google 新聞和探索)。
HTTP 要求中的使用者代理程式 
Googlebot-Image/1.0
robots.txt
robots.txt 中的使用者代理程式符記 Googlebot-Image
Googlebot
範例 robots.txt 群組 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
受影響的產品 針對 Googlebot-Image 使用者代理程式指定的檢索偏好設定會影響 Google 圖片、探索、Google 影片，以及 Google 搜尋中顯示圖片、標誌與網站小圖示的所有功能。
HTTP 要求中的使用者代理程式 
Googlebot-Video/1.0
robots.txt
robots.txt 中的使用者代理程式符記 Googlebot-Video
Googlebot
範例 robots.txt 群組 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
受影響的產品 針對 Googlebot-Video 使用者代理程式指定的檢索偏好設定會影響影片相關的 Google 搜尋功能，以及其他以影片為基礎的產品。
HTTP 要求中的使用者代理程式 Googlebot-news 沒有獨立的 HTTP 要求使用者代理程式字串，檢索作業是使用各種 Googlebot 使用者代理程式字串完成。
robots.txt
robots.txt 中的使用者代理程式符記 Googlebot-News
Googlebot
範例 robots.txt 群組 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
受影響的產品 針對 Googlebot-News 使用者代理程式指定的檢索偏好設定會影響所有 Google 新聞平台 (例如 Google 搜尋和 Google 新聞應用程式中的「新聞」分頁)。
HTTP 要求中的使用者代理程式
電腦版代理程式 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
行動裝置版代理程式 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
robots.txt 中的使用者代理程式符記 Storebot-Google
範例 robots.txt 群組 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
受影響的產品 針對 Storebot-Google 使用者代理程式指定的檢索偏好設定會影響所有 Google 購物平台 (例如 Google 搜尋和 Google 購物中的「購物」分頁)。
HTTP 要求中的使用者代理程式
電腦版代理程式 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
行動裝置版代理程式 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
robots.txt 中的使用者代理程式符記 Google-InspectionTool
Googlebot
範例 robots.txt 群組 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
受影響的產品 針對 Google-InspectionTool 使用者代理程式指定的檢索偏好設定會影響所有搜尋測試工具，例如 Search Console 中的複合式搜尋結果測試與網址檢查。這不會影響 Google 搜尋或其他產品。
HTTP 要求中的使用者代理程式 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
robots.txt 中的使用者代理程式符記 GoogleOther
範例 robots.txt 群組 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
受影響的產品 針對 GoogleOther 使用者代理程式指定的檢索偏好設定不會影響任何特定產品。GoogleOther 是通用檢索器，可供許多產品團隊從網站中擷取能公開存取的內容。例如用來針對內部研究與開發進行一次性檢索作業。GoogleOther 對 Google 搜尋或其他產品沒有任何影響。
HTTP 要求中的使用者代理程式 
GoogleOther-Image/1.0
robots.txt
robots.txt 中的使用者代理程式符記 GoogleOther-Image
GoogleOther
範例 robots.txt 群組 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
受影響的產品 針對 GoogleOther-Image 使用者代理程式指定的檢索偏好設定不會影響任何特定產品，與 GoogleOther 類似。GoogleOther-Image 是 GoogleOther 的最佳化版本，適用於擷取可公開存取的圖片網址。
HTTP 要求中的使用者代理程式 
GoogleOther-Video/1.0
robots.txt
robots.txt 中的使用者代理程式符記 GoogleOther-Video
GoogleOther
範例 robots.txt 群組 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
受影響的產品 針對 GoogleOther-Video 使用者代理程式指定的檢索偏好設定不會影響任何特定產品，與 GoogleOther 類似。GoogleOther-Video 是 GoogleOther 的最佳化版本，適用於擷取可公開存取的影片網址。
HTTP 要求中的使用者代理程式子字串 
Google-CloudVertexBot
robots.txt
robots.txt 中的使用者代理程式符記 Google-CloudVertexBot
Googlebot
範例 robots.txt 群組 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
受影響的產品 針對 Google-CloudVertexBot 使用者代理程式指定的檢索偏好設定會影響網站擁有者為建構 Vertex AI 代理程式而要求進行的檢索作業。這不會影響 Google 搜尋或其他產品。
HTTP 要求中的使用者代理程式 Google-Extended 沒有獨立的 HTTP 要求使用者代理程式字串。檢索作業是使用現有的 Google 使用者代理程式字串完成。robots.txt 使用者代理程式符記則是用於控管控制權。
robots.txt
robots.txt 中的使用者代理程式符記 Google-Extended
範例 robots.txt 群組 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
受影響的產品 網站發布商可使用的獨立產品符記 Google-Extended，用於管理網站是否有助於改善 Gemini 系列應用程式和 Vertex AI 生成式 API，包括可強化這些產品的新一代模型。Google-Extended 不會影響網站在 Google 搜尋中的收錄情形或排名。

W.X.Y.Z使用者代理程式中的 Chrome/W.X.Y.Z 相關注意事項

上表中有些使用者代理程式字串含有 Chrome/W.X.Y.Z，其中的 W.X.Y.Z 其實是預留位置，代表該使用者代理程式使用的 Chrome 瀏覽器版本，例如：41.0.2272.96。由於 Googlebot 會使用最新發布版的 Chromium，此版本號碼也會隨之日漸遞增。

在搜尋記錄或篩選伺服器時，如果想要運用這個格式來尋找使用者代理程式，請以萬用字元取代版本號碼，不要指定明確的版本號碼。