Google 特殊情況檢索器清單
如果在接受檢索的網站和產品之間有針對檢索程序制定協議,特定 Google 產品就會使用特殊情況檢索器。舉例來說,AdsBot
會忽略具有廣告發布商權限的全域 robots.txt 使用者代理程式 (*
)。Google 檢索器的一般技術性資源也適用於特殊情況檢索器。
特殊情況檢索器可能會忽略 robots.txt 規則,因此運作的 IP 範圍與常見檢索器不同。IP 範圍會發布到 special-crawlers.json 物件中。特殊情況檢索器的反向 DNS 遮罩會與 rate-limited-proxy-***-***-***-***.google.com
相符。
下列清單列出特殊情況檢索器、檢索器出現在 HTTP 要求時的使用者代理程式字串、檢索器出現在 robots.txt 中 User-agent:
這一行時的使用者代理程式符記,以及受檢索器的檢索偏好設定影響的產品。這份清單僅列舉部分檢索器,內容僅涵蓋記錄檔中較有可能出現的要求者,以及我們收到問題的檢索器。
APIs-Google
-
HTTP 要求中的使用者代理程式 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt robots.txt 中的使用者代理程式符記 APIs-Google
系統會忽略全域使用者代理程式 (
*
)。範例 robots.txt 群組 user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
受影響的產品 針對 APIs-Google
使用者代理程式指定的檢索偏好設定會影響 Google API 傳送推播通知訊息的方式。 AdsBot 行動網路
-
HTTP 要求中的使用者代理程式 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt robots.txt 中的使用者代理程式符記 AdsBot-Google-Mobile
系統會忽略全域使用者代理程式 (
*
)。範例 robots.txt 群組 user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
受影響的產品 針對 AdsBot-Google-Mobile
使用者代理程式指定的檢索偏好設定會影響 Google Ads 檢查網頁廣告品質的能力。 AdsBot
-
HTTP 要求中的使用者代理程式 AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt robots.txt 中的使用者代理程式符記 AdsBot-Google
系統會忽略全域使用者代理程式 (
*
)。範例 robots.txt 群組 user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
受影響的產品 針對 AdsBot-Google
使用者代理程式指定的檢索偏好設定會影響 Google Ads 檢查網頁廣告品質的能力。 AdSense
-
HTTP 要求中的使用者代理程式 電腦版代理程式 Mediapartners-Google
行動裝置版代理程式 (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt robots.txt 中的使用者代理程式符記 Mediapartners-Google
系統會忽略全域使用者代理程式 (
*
)。範例 robots.txt 群組 user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
受影響的產品 針對 Mediapartners-Google
使用者代理程式指定的檢索偏好設定會影響 Google AdSense。AdSense 檢索器會造訪參與計畫的網站,以便提供相關廣告。 Google 安全性
-
HTTP 要求中的使用者代理程式 Google-Safety
robots.txt Google 安全性使用者代理程式會忽略 robots.txt 規則。 受影響的產品 Google 安全性使用者代理程式會處理特定濫用行為的檢索作業,例如找出 Google 資源上公開發布連結包含的惡意軟體。因此不會受到檢索偏好設定的影響。
已淘汰的特殊情況檢索器
下列特殊情況檢索器已停用,僅列於此供您參考。
AdsBot 行動網路
-
HTTP 要求中的使用者代理程式 Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt robots.txt 中的使用者代理程式符記 AdsBot-Google-Mobile
系統會忽略全域使用者代理程式 (
*
)。受影響的產品 針對 AdsBot-Google-Mobile
使用者代理程式指定的檢索偏好設定會影響 Google Ads 檢查 iPhone 網頁廣告品質的功能。 Duplex 網頁版
-
HTTP 要求中的使用者代理程式 Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt robots.txt 中的使用者代理程式符記 DuplexWeb-Google
Duplex 網頁版可能會忽略
*
萬用字元,受影響的產品 支援 Duplex 網頁版服務。 Google Favicon
-
HTTP 要求中的使用者代理程式 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt robots.txt 中的使用者代理程式符記 Googlebot-Image
Googlebot
Android 版行動應用程式
-
HTTP 要求中的使用者代理程式 AdsBot-Google-Mobile-Apps
robots.txt robots.txt 中的使用者代理程式符記 AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps
使用者代理程式會遵循AdsBot-Google
漫遊器規則,但會忽略全域使用者代理程式 (*
)。受影響的產品 針對 AdsBot-Google-Mobile-Apps
使用者代理程式指定的檢索偏好設定會影響 Google Ads 檢查 Android 應用程式版網頁廣告品質的功能。 Web Light
-
HTTP 要求中的使用者代理程式 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt robots.txt 中的使用者代理程式符記 googleweblight
googleweblight
使用者代理程式僅會用在真人訪客提出的明確瀏覽要求,因此會忽略 robots.txt 規則 (這類規則的用途是封鎖自動檢索要求)。受影響的產品 在符合適當條件的情況下,當使用者在搜尋結果中點選您的網頁時,Web Light 使用者代理程式會檢查是否有 no-transform
標頭。