透過集合功能整理內容 你可以依據偏好儲存及分類內容。

Google 檢索器 (使用者代理程式) 總覽

「檢索器」(有時也稱為「漫遊器」或「自動尋檢程式」) 泛指任何透過網頁間連結來自動尋找並檢索網站的程式。Google 主要的檢索器是 Googlebot。下表列出了參照記錄中可能會出現的常見 Google 檢索器,以及如何在 robots.txt漫遊器中繼標記X-Robots-Tag HTTP 指令中指定這些檢索器的相關資訊。

下表列出了各種 Google 產品和服務使用的檢索器:

  • 使用者代理程式符記能夠比對特定類型的檢索器,請在編寫網站的檢索規則時,在 robots.txt 的 User-agent: 行使用這個值。如下表所示,有些檢索器具有多個符記;只要檢索規則指定的檢索器符記與其中之一相符,規則就會生效。雖然以下清單並不完整,但已涵蓋可能會檢索網站的大部分檢索器。
  • 完整的使用者代理程式字串是檢索器的完整說明,會出現在 HTTP 要求和您的伺服器記錄中。

檢索器

APIs-Google

使用者代理程式符記 APIs-Google
完整的使用者代理程式字串 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

檢查 Android 裝置網頁廣告品質

使用者代理程式符記 AdsBot-Google-Mobile
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

檢查 iPhone 網頁廣告品質

使用者代理程式符記 AdsBot-Google-Mobile
完整的使用者代理程式字串 Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

檢查電腦版網頁廣告品質

使用者代理程式符記 AdsBot-Google
完整的使用者代理程式字串 AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

使用者代理程式符記 Mediapartners-Google
完整的使用者代理程式字串 Mediapartners-Google

Googlebot Image

使用者代理程式符記
  • Googlebot-Image
  • Googlebot
完整的使用者代理程式字串 Googlebot-Image/1.0

Googlebot News

使用者代理程式符記
  • Googlebot-News
  • Googlebot
完整的使用者代理程式字串 Googlebot-News 使用者代理程式會使用各種 Googlebot 使用者代理程式字串

Googlebot 影片

使用者代理程式符記
  • Googlebot-Video
  • Googlebot
完整的使用者代理程式字串 Googlebot-Video/1.0

Googlebot Desktop

使用者代理程式符記 Googlebot
完整的使用者代理程式字串
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

使用者代理程式符記 Googlebot
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

使用者代理程式符記 Mediapartners-Google
完整的使用者代理程式字串 (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

檢查 Android 應用程式版網頁廣告品質,遵循 AdsBot-Google 漫遊器規則。

使用者代理程式符記 AdsBot-Google-Mobile-Apps
完整的使用者代理程式字串 AdsBot-Google-Mobile-Apps

Feedfetcher

使用者代理程式符記 FeedFetcher-Google
完整的使用者代理程式字串 FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

使用者代理程式符記 Google-Read-Aloud
完整的使用者代理程式字串

現行代理程式

  • 電腦版代理程式:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
  • 行動裝置版代理程式:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

舊版代理程式 (已淘汰)

google-speakr

Google Favicon

使用者代理程式符記
  • Googlebot-Image
  • Googlebot
完整的使用者代理程式字串 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot

使用者代理程式符記 Storebot-Google
完整的使用者代理程式字串
  • 電腦版代理程式:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • 行動裝置版代理程式:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google 網站驗證工具

使用者代理程式符記 Google-Site-Verification
完整的使用者代理程式字串 Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

使用者代理程式中的 Chrome/W.X.Y.Z 相關注意事項

上表中有些使用者代理程式字串含有 Chrome/W.X.Y.Z,其中的 W.X.Y.Z 其實是預留位置,代表該使用者代理程式使用的 Chrome 瀏覽器版本,例如:41.0.2272.96。由於 Googlebot 會使用最新發布版的 Chromium,此版本號碼也會隨之日漸遞增。

在搜尋記錄或篩選伺服器時,如果想要運用這個格式來尋找使用者代理程式,請以萬用字元取代版本號碼,不要指定明確的版本號碼。

robots.txt 中的使用者代理程式

如果 Google 在 robots.txt 檔案中發現多個使用者代理程式,將會採用檢索條件最詳細者。如果想讓所有的 Google 檢索器都能檢索您的網頁,其實就不需要使用 robots.txt 檔案;如果要封鎖或允許所有 Google 檢索器存取您網站的部分內容,請將使用者代理程式指定為 Googlebot。舉例來說,如果想讓 Google 搜尋顯示您所有的網頁,並在頁面中顯示 AdSense 廣告,就不需要使用 robots.txt。同樣地,如果完全不想讓 Google 檢索某些網頁,只要封鎖 Googlebot 使用者代理程式,就能一併封鎖所有其他 Google 使用者代理程式。

不過,您也可以指定更明確的檢索條件,進一步管理搜尋結果。例如,您可能希望所有的網頁都出現在 Google 搜尋結果中,但不要 Google 檢索您個人目錄內的圖片。這時候,可使用 robots.txt 禁止 Googlebot-Image 使用者代理程式檢索您個人目錄內的檔案,同時允許 Googlebot 檢索所有檔案。範例如下:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

又或者,您希望在所有網頁中顯示廣告,但不想讓 Google 搜尋顯示這些網頁,那我們建議您封鎖 Googlebot,但允許 Mediapartners-Google 使用者代理程式。範例如下:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

漫遊器中繼標記中的使用者代理程式

有些網頁會使用多個漫遊器中繼標記,為不同的檢索器設定相關指令,例如:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

以上述程式碼為例,Google 會合併處理否定性質的指令,而 Googlebot 將遵循 noindexnofollow 指令。 進一步瞭解如何控制 Google 對您網站的檢索及索引作業。

控管檢索速度

每個 Google 檢索器都是基於特定目的存取網站,且檢索頻率不盡相同。Google 會使用演算法判斷每個網站的最佳檢索頻率,如果 Google 檢索器太常檢索您的網站,您可以降低檢索頻率

已淘汰的 Google 檢索器

下列 Google 檢索器已停用,僅列於此供您參考。

已淘汰的 Google 檢索器

Duplex 網頁版

支援 Duplex 網頁版服務。

使用者代理程式符記 DuplexWeb-Google
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

在有適當條件的狀態下,當使用者在搜尋結果中點選您的網頁時,系統會檢查是否有 no-transform 標頭。Web Light 使用者代理程式僅會用在真人訪客提出的明確瀏覽要求,因此可忽略 robots.txt 規則 (這類規則的用途是封鎖自動檢索要求)。

使用者代理程式符記 googleweblight
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19