Google の特殊なケース用のクローラーの一覧

特殊なケース用のクローラーは、クロールされるサイトとサービス間でクロール プロセスに関して合意がある、特定のサービスで使用されます。たとえば、AdsBot は広告パブリッシャーの許可に基づき、グローバル robots.txt ユーザー エージェント（*）を無視します。Google クローラーの一般的な技術的特性は、特殊なケース用のクローラーにも適用されます。

特殊なケース用のクローラーは robots.txt ルールを無視して、一般的なクローラーとは異なる IP 範囲でクロールを実施する場合があります。IP 範囲は special-crawlers.json オブジェクトで公開されています。特殊なケース用のクローラーのリバース DNS マスクは rate-limited-proxy-***-***-***-***.google.com と一致します。

次のリストには、特殊なケース用のクローラー、HTTP リクエストに表示されるユーザー エージェント文字列、robots.txt の User-agent: 行のユーザー エージェント トークン、そしてそのクローラーのクロール設定によって影響を受けるプロダクトが示されています。このリストはすべてを網羅しているわけではなく、ログファイルに表示される可能性が高く、質問を受けているリクエスト送信者のみを記載しています。

APIs-Google

HTTP リクエストのユーザー エージェント	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	robots.txt のユーザー エージェント トークン APIs-Google グローバル ユーザー エージェント（*）は無視されます。 robots.txt グループの例 user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
影響を受けるプロダクト	APIs-Google ユーザー エージェントに対するクロール設定は、Google API によるプッシュ通知メッセージの配信に影響します。

モバイルウェブ用 AdsBot

HTTP リクエストのユーザー エージェント	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	robots.txt のユーザー エージェント トークン AdsBot-Google-Mobile グローバル ユーザー エージェント（*）は無視されます。 robots.txt グループの例 user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
影響を受けるプロダクト	AdsBot-Google-Mobile ユーザー エージェントに対するクロール設定は、Google 広告がウェブページの広告品質をチェックする機能に影響します。

AdsBot

HTTP リクエストのユーザー エージェント	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	robots.txt のユーザー エージェント トークン AdsBot-Google グローバル ユーザー エージェント（*）は無視されます。 robots.txt グループの例 user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
影響を受けるプロダクト	AdsBot-Google ユーザー エージェントに対するクロール設定は、Google 広告がウェブページの広告品質をチェックする機能に影響します。

AdSense

HTTP リクエストのユーザー エージェント	デスクトップ エージェント Mediapartners-Google モバイル エージェント (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	robots.txt のユーザー エージェント トークン Mediapartners-Google グローバル ユーザー エージェント（*）は無視されます。 robots.txt グループの例 user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
影響を受けるプロダクト	Mediapartners-Google ユーザー エージェントに対するクロール設定は、Google AdSense に影響します。AdSense クローラは、関連性の高い広告を配信するために参加サイトにアクセスします。

Google-Safety

HTTP リクエストのユーザー エージェント	Google-Safety
robots.txt	Google-Safety のユーザー エージェントは robots.txt ルールを無視します。
影響を受けるプロダクト	Google-Safety ユーザー エージェントは、Google サービスで一般公開されたリンクに対するマルウェアの検出など、不正行為に固有のクロールを処理します。そのため、クロール設定の影響を受けません。