驗證 Google 檢索器和擷取程式的要求

您可以驗證對伺服器提出的要求是否確實來自 Google。可以驗證的對象包括 Googlebot 等檢索器，以及其他要求。如果擔心垃圾內容發布者或其他惡意份子假冒 Google 存取您的網站，這是相當實用的解決方法。

Google 檢索器和擷取程式分為三類：

類型 說明 反向 DNS 遮蓋 IP 範圍
常見檢索器 Google 產品使用的常見檢索器 (例如 Googlebot)。這類檢索器一律會遵循自動檢索的 robots.txt 規則。 crawl-***-***-***-***.googlebot.com 或 geo-crawl-***-***-***-***.geo.googlebot.com common-crawlers.json
特殊情況檢索器 會針對某些 Google 產品 (例如 AdsBot) 執行特定函式的檢索器或擷取程式，前提是接受檢索的網站和這些產品之間有存取協議，或者存取作業是針對濫用行為進行檢索或擷取。這類檢索器或擷取程式不一定會遵循 robots.txt 規則。 rate-limited-proxy-***-***-***-***.google.com special-crawlers.json
使用者觸發的擷取程式 由使用者觸發擷取動作的工具和產品函式。舉例來說，Google 網站驗證工具就是依據使用者的要求而行動。由於擷取動作是由使用者提出要求，因此擷取程式會忽略 robots.txt 規則。
Google 控管的擷取器是源自 user-triggered-fetchers-google.json 物件中的 IP，且會解析為 google.com 主機名稱。user-triggered-fetchers.json 物件中的 IP 會解析為 gae.googleusercontent.com 主機名稱。舉例來說，在 Google Cloud (GCP) 上執行的網站，其功能需要依據該網站的使用者要求擷取外部 RSS 動態消息，就會使用這些 IP。		 ***-***-***-***.gae.googleusercontent.com 或 google-proxy-***-***-***-***.google.com user-triggered-fetchers.json、user-triggered-fetchers-google.json 和 user-triggered-agents.json

驗證 Google 要求的方式有兩種：

  • 手動：適用於一次性查詢，會使用指令列工具。在大多數情況下，這個方法就夠用了。
  • 自動：適用於大規模查詢，會使用自動解決方案來比對檢索器的 IP 位址，檢查是否符合已發布的 Google IP 位址清單。

使用指令列工具

  1. 找出記錄中存取伺服器的 IP 位址，使用 host 指令執行反向 DNS 查詢。
  2. 確認網域名稱是否為 googlebot.com、google.com 或 googleusercontent.com。
  3. 針對您在步驟 1 擷取到的網域名稱，使用 host 指令執行正向 DNS 查詢。
  4. 確認查詢結果是否為本來記錄中存取伺服器的 IP 位址。

範例 1：

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

範例 2：

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

範例 3：

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

使用自動解決方案

或者，您也可以比對檢索器的 IP 位址和 Google 檢索器與擷取程式的 IP 範圍，依照 IP 位址來辨別是否真的是 Googlebot。

針對其他可能存取網站的 Google IP 位址 (例如來自 Apps Script)，請將進行存取的 IP 位址與一般 Google IP 位址清單進行比對。請注意，JSON 檔案中的 IP 位址會以 CIDR 格式表示。