Google 檢索器 (使用者代理程式) 總覽
「檢索器」(有時也稱為「漫遊器」或「自動尋檢程式」) 泛指任何透過網頁間連結來自動尋找並檢索網站的程式。Google 主要的檢索器是 Googlebot 。下表列出了參照記錄中可能會出現的常見 Google 檢索器,以及如何在 robots.txt 、漫遊器中繼標記 和 X-Robots-Tag
HTTP 指令 中指定這些檢索器的相關資訊。
下表列出了各種 Google 產品和服務使用的檢索器:
使用者代理程式符記 能夠比對特定類型的檢索器,請在編寫網站的檢索規則時,在 robots.txt 的 User-agent:
行使用這個值。如下表所示,有些檢索器具有多個符記;只要檢索規則指定的檢索器符記與其中之一相符,規則就會生效。雖然以下清單並不完整,但已涵蓋可能會檢索網站的大部分檢索器。
完整的使用者代理程式字串 是檢索器的完整說明,會出現在 HTTP 要求和您的伺服器記錄中。
注意 :使用者代理程式字串有可能遭到假冒。請參閱這篇文章 ,瞭解如何確認造訪網站的確實為 Google 檢索器。
檢索器
使用者代理程式符記
APIs-Google
完整的使用者代理程式字串
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdsBot Mobile Web Android
AdsBot Mobile Web Android 會忽略 *
萬用字元。 檢查 Android 裝置網頁廣告品質 。
使用者代理程式符記
AdsBot-Google-Mobile
完整的使用者代理程式字串
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile Web
AdsBot Mobile Web 會忽略 *
萬用字元。 檢查 iPhone 網頁廣告品質 。
使用者代理程式符記
AdsBot-Google-Mobile
完整的使用者代理程式字串
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot
檢查電腦版網頁廣告品質 。
使用者代理程式符記
AdsBot-Google
完整的使用者代理程式字串
AdsBot-Google (+http://www.google.com/adsbot.html)
使用者代理程式符記
Mediapartners-Google
完整的使用者代理程式字串
Mediapartners-Google
Googlebot Image
使用者代理程式符記
Googlebot-Image
Googlebot
完整的使用者代理程式字串
Googlebot-Image/1.0
Googlebot News
Googlebot 影片
使用者代理程式符記
Googlebot-Video
Googlebot
完整的使用者代理程式字串
Googlebot-Video/1.0
使用者代理程式符記
Googlebot
完整的使用者代理程式字串
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot/2.1 (+http://www.google.com/bot.html)
使用者代理程式符記
Googlebot
完整的使用者代理程式字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
使用者代理程式符記
Mediapartners-Google
完整的使用者代理程式字串
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobile Apps Android
Mobile Apps Android 會忽略 *
萬用字元。 檢查 Android 應用程式版網頁廣告品質 ,遵循 AdsBot-Google
漫遊器規則。
使用者代理程式符記
AdsBot-Google-Mobile-Apps
完整的使用者代理程式字串
AdsBot-Google-Mobile-Apps
使用者代理程式符記
FeedFetcher-Google
完整的使用者代理程式字串
FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
使用者代理程式符記
Google-Read-Aloud
完整的使用者代理程式字串
現行代理程式 :
電腦版代理程式: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
行動裝置版代理程式: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
舊版代理程式 (已淘汰 ) :
google-speakr
注意 :針對使用者提出的要求,Google Favicon 會忽略 robots.txt 規則。
使用者代理程式符記
Googlebot-Image
Googlebot
完整的使用者代理程式字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Google StoreBot
使用者代理程式符記
Storebot-Google
完整的使用者代理程式字串
電腦版代理程式:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
行動裝置版代理程式:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
注意 :Google 網站驗證工具會忽略 robots.txt 規則。
使用者代理程式符記
Google-Site-Verification
完整的使用者代理程式字串
Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
使用者代理程式中的 Chrome/W.X.Y.Z 相關注意事項
上表中有些使用者代理程式字串含有 Chrome/W.X.Y.Z ,其中的 W.X.Y.Z 其實是預留位置,代表該使用者代理程式使用的 Chrome 瀏覽器版本,例如:41.0.2272.96
。由於 Googlebot 會使用最新發布版的 Chromium ,此版本號碼也會隨之日漸遞增。
在搜尋記錄或篩選伺服器時,如果想要運用這個格式來尋找使用者代理程式,請以萬用字元取代版本號碼,不要指定明確的版本號碼。
robots.txt 中的使用者代理程式
如果 Google 在 robots.txt 檔案中發現多個使用者代理程式,將會採用檢索條件最詳細者。如果想讓所有的 Google 檢索器都能檢索您的網頁,其實就不需要使用 robots.txt 檔案;如果要封鎖或允許所有 Google 檢索器存取您網站的部分內容,請將使用者代理程式指定為 Googlebot。舉例來說,如果想讓 Google 搜尋顯示您所有的網頁,並在頁面中顯示 AdSense 廣告,就不需要使用 robots.txt。同樣地,如果完全不想讓 Google 檢索某些網頁,只要封鎖 Googlebot
使用者代理程式,就能一併封鎖所有其他 Google 使用者代理程式。
不過,您也可以指定更明確的檢索條件,進一步管理搜尋結果。例如,您可能希望所有的網頁都出現在 Google 搜尋結果中,但不要 Google 檢索您個人目錄內的圖片。這時候,可使用 robots.txt 禁止 Googlebot-Image
使用者代理程式檢索您個人目錄內的檔案,同時允許 Googlebot 檢索所有檔案。範例如下:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /personal
又或者,您希望在所有網頁中顯示廣告,但不想讓 Google 搜尋顯示這些網頁,那我們建議您封鎖 Googlebot,但允許 Mediapartners-Google
使用者代理程式。範例如下:
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
有些網頁會使用多個漫遊器中繼標記,為不同的檢索器設定相關指令,例如:
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">
以上述程式碼為例,Google 會合併處理否定性質的指令,而 Googlebot 將遵循 noindex
與 nofollow
指令。
進一步瞭解如何控制 Google 對您網站的檢索及索引作業。
控管檢索速度
每個 Google 檢索器都是基於特定目的存取網站,且檢索頻率不盡相同。Google 會使用演算法判斷每個網站的最佳檢索頻率,如果 Google 檢索器太常檢索您的網站,您可以降低檢索頻率 。
已淘汰的 Google 檢索器
下列 Google 檢索器已停用,僅列於此供您參考。
已淘汰的 Google 檢索器
Duplex 網頁版
支援 Duplex 網頁版服務。
使用者代理程式符記
DuplexWeb-Google
完整的使用者代理程式字串
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
注意 :Duplex 網頁版可能會忽略 *
萬用字元。
Web Light
在有適當條件的狀態下,當使用者在搜尋結果中點選您的網頁時,系統會檢查是否有 no-transform
標頭。Web Light 使用者代理程式僅會用在真人訪客提出的明確瀏覽要求,因此可忽略 robots.txt 規則 (這類規則的用途是封鎖自動檢索要求)。
使用者代理程式符記
googleweblight
完整的使用者代理程式字串
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19