Google ユーザー トリガー フェッチャーの一覧
ユーザー トリガー フェッチャーは、ユーザーによってトリガーされ、Google 製品内でフェッチ機能を実行します。たとえば、Google サイト検証ツールは、ユーザーのリクエストに基づき動作します。また、Google Cloud(GCP)でホストされているサイトには、サイトのユーザーが外部 RSS フィードを取得できる機能があります。フェッチはユーザーによってリクエストされたものであるため、通常このようなフェッチャーでは robots.txt ルールは無視されます。Google クローラーの一般的な技術的特性は、ユーザー トリガー フェッチャーにも適用されます。
ユーザー トリガー フェッチャーが使用する IP 範囲は、user-triggered-fetchers.json オブジェクトと user-triggered-fetchers-google.json オブジェクトで公開されています。ユーザー トリガー フェッチャーのリバース DNS マスクは、フェッチャーが Google 所有かユーザー所有かに応じて、それぞれ ***-***-***-***.gae.googleusercontent.com
または google-proxy-***-***-***-***.google.com
に一致します。
次のリストには、ユーザー トリガー フェッチャー、HTTP リクエストに表示されるユーザー エージェント文字列、そしてそれらが関連付けられているプロダクトが示されています。このリストはすべてを網羅しているわけではなく、ログファイルに表示される可能性が高く、質問を受けているリクエスタのみを記載しています。
Feedfetcher
-
HTTP リクエストのユーザー エージェント FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
関連するサービス Feedfetcher は、Google ニュースや PubSubHubbub の RSS フィードまたは Atom フィードのクロールに使用されます。 Google パブリッシャー センター
-
HTTP リクエストのユーザー エージェント GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/google-producer)
関連するサービス Google Publisher Center は、Google ニュースのランディング ページで使用するためにパブリッシャーが明示的に提供したフィードを取得して処理します。 Google Read Aloud
-
HTTP リクエストのユーザー エージェント モバイル エージェント Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
デスクトップ エージェント Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
過去のエージェント(非推奨) google-speakr
関連するサービス Google Read Aloud は、ユーザー リクエストに基づいてウェブページを取得し、テキスト読み上げ(TTS)を使ってウェブページを読み上げます。 Google サイト検証ツール
-
HTTP リクエストのユーザー エージェント Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
関連するサービス Google サイト検証ツールは、Search Console 確認トークンをフェッチします。