Google クローラーとフェッチャーの概要（ユーザー エージェント）

Google はクローラーとフェッチャーを使用して、自動的にまたはユーザー リクエストに基づき、サービスのアクションを実行します。

「クローラー」（「ロボット」や「スパイダー」と呼ばれることもあります）は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出し、スキャンするプログラムを指す総称です。Google のメインのクローラーは Googlebot と呼ばれます。

フェッチャーはブラウザと同様に、ユーザーからの指示に基づき、単一の URL をリクエストするツールです。

次の表は、さまざまなプロダクトやサービスで使用されている Google クローラーとフェッチャーおよび、リファラーログでの表示のされ方、robots.txt で指定する方法を示しています。

  • ユーザー エージェント トークンは、サイトのクロールルールを作成するにあたってクローラーのタイプを指定するために使われます。具体的には robots.txt の User-agent: 行に記述します。表に示すように、複数のトークンを持つクローラーもありますが、適用する各ルールで指定できるクローラー トークンは 1 つのみです。このリストはすべてを網羅しているわけではありませんが、お客様のウェブサイトを訪れる可能性があるほとんどのクローラーについて記載しています。
  • 完全なユーザー エージェント文字列は、クローラーの詳細な説明であり、HTTP リクエストとウェブのログに表示されます。

一般的なクローラー

Google の一般的なクローラーは、Google の検索インデックスの作成、他のサービス固有のクロールの実施、分析に使われます。クローラーは常に robots.txt ルールに従い、通常 googlebot.json オブジェクトで公開されている IP 範囲をクロールします。

一般的なクローラー

スマートフォン用 Googlebot
ユーザー エージェント トークン Googlebot
完全なユーザー エージェント文字列 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

パソコン用 Googlebot
ユーザー エージェント トークン Googlebot
完全なユーザー エージェント文字列
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • まれに以下の場合もあり:
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    • Googlebot/2.1 (+http://www.google.com/bot.html)

画像用 Googlebot

Google 画像検索と画像に依存するサービスの画像バイトのクロールに使用されます。

ユーザー エージェント トークン
  • Googlebot-Image
  • Googlebot
完全なユーザー エージェント文字列 Googlebot-Image/1.0

ニュース用 Googlebot

ニュース用 Googlebot は、Googlebot を使用してニュース記事をクロールします。ただし、過去のユーザー エージェント トークン Googlebot-News を尊重します。

ユーザー エージェント トークン
  • Googlebot-News
  • Googlebot
完全なユーザー エージェント文字列 Googlebot-News ユーザー エージェントは、さまざまな Googlebot のユーザー エージェント文字列を使用します。

動画用 Googlebot

Google Video と動画に依存するサービスの動画バイトのクロールに使用されます。

ユーザー エージェント トークン
  • Googlebot-Video
  • Googlebot
完全なユーザー エージェント文字列 Googlebot-Video/1.0

Google Favicon
ユーザー エージェント トークン
  • Googlebot-Image
  • Googlebot
完全なユーザー エージェント文字列 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot

Google Storebot は、商品の詳細ページ、カートページ、購入手続きページなど、特定のタイプのページをクロールします（ただし、これらのページに限定されません）。

ユーザー エージェント トークン Storebot-Google
完全なユーザー エージェント文字列
  • デスクトップ エージェント:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
  • モバイル エージェント:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google-InspectionTool

Google-InspectionTool は、Search Console でリッチリザルト テストや URL 検査などの検索テストツールで使用されるクローラーです。ユーザー エージェントとユーザー エージェント トークン以外は、Googlebot を模倣したものです。

ユーザー エージェント トークン
  • Google-InspectionTool
  • Googlebot
完全なユーザー エージェント文字列
  • モバイル
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
  • パソコン
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0)

GoogleOther

一般にアクセス可能なコンテンツをサイトから取得するために、さまざまなプロダクト チームが使用できる汎用クローラーです。内部の研究開発のための 1 回限りのクロールに使用される場合などがあります。

ユーザー エージェント トークン GoogleOther
完全なユーザー エージェント文字列 GoogleOther

特殊なケース用のクローラー

特殊なケース用のクローラーは、クロールされるサイトとサービス間でクロール プロセスに関して合意がある、特定のサービスで使用されます。たとえば、AdsBot は広告パブリッシャーの許可に基づき、グローバル robots.txt ユーザー エージェント（*）を無視します。特殊なケース用のクローラーは robots.txt ルールを無視して、一般的なクローラーとは異なる IP 範囲でクロールを実施する場合があります。IP 範囲は special-crawlers.json オブジェクトで公開されています。

特殊なケース用のクローラー

APIs-Google

Google API がプッシュ通知メッセージの配信に使用します。robots.txt のグローバル ユーザー エージェント（*）は無視されます。

ユーザー エージェント トークン APIs-Google
完全なユーザー エージェント文字列 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

モバイルウェブ Android 用 AdsBot

Android のウェブページの広告品質をチェックします。robots.txt のグローバル ユーザー エージェント（*）は無視されます。

ユーザー エージェント トークン AdsBot-Google-Mobile
完全なユーザー エージェント文字列 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

モバイルウェブ用 AdsBot

iPhone のウェブページの広告品質をチェックします。robots.txt のグローバル ユーザー エージェント（*）は無視されます。

ユーザー エージェント トークン AdsBot-Google-Mobile
完全なユーザー エージェント文字列 Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

パソコンのウェブページの広告品質をチェックします。robots.txt のグローバル ユーザー エージェント（*）は無視されます。

ユーザー エージェント トークン AdsBot-Google
完全なユーザー エージェント文字列 AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

AdSense クローラーは、関連性の高い広告を配信するために、サイトにアクセスしてコンテンツを分析します。robots.txt のグローバル ユーザー エージェント（*）は無視されます。

ユーザー エージェント トークン Mediapartners-Google
完全なユーザー エージェント文字列 Mediapartners-Google

モバイル AdSense

Mobile AdSense クローラーは、関連性の高い広告を配信するために、サイトにアクセスしてコンテンツを分析します。robots.txt のグローバル ユーザー エージェント（*）は無視されます。

ユーザー エージェント トークン Mediapartners-Google
完全なユーザー エージェント文字列 (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

ユーザー トリガー フェッチャー

ユーザー トリガー フェッチャーは、ユーザーによってトリガーされ、サービス固有の機能を実行します。たとえば、Google サイト検証ツールはユーザーのリクエストに基づき動作します。フェッチはユーザーによってリクエストされたものであるため、通常このようなフェッチャーでは robots.txt ルールは無視されます。ユーザー トリガー フェッチャーが使用する IP 範囲は、user-triggered-fetchers.json オブジェクトで公開されています。

ユーザー トリガー フェッチャー

Feedfetcher

Feedfetcher は、Google Podcasts、Google ニュース、PubSubHubbub の RSS フィードと Atom フィードのクロールに使用されます。

ユーザー エージェント トークン FeedFetcher-Google
完全なユーザー エージェント文字列 FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google パブリッシャー センター

Google ニュースのランディング ページで使用するために、Google パブリッシャー センターを通じてパブリッシャーが明示的に提供したフィードを取得して処理します。

完全なユーザー エージェント文字列 GoogleProducer; (+http://goo.gl/7y4SX)

Google Read Aloud

Google Read Aloud は、ユーザー リクエストに基づいてウェブページを取得し、テキスト読み上げ（TTS）を使ってウェブページを読み上げます。

完全なユーザー エージェント文字列

現在のエージェント:

  • デスクトップ エージェント:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • モバイル エージェント:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

過去のエージェント（非推奨）:

google-speakr

Google サイト検証ツール

Google サイト検証ツールは、ユーザー リクエストの Search Console 確認トークンに基づいてフェッチします。

完全なユーザー エージェント文字列 Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

ユーザー エージェントの Chrome/W.X.Y.Z に関する注意

表内でユーザー エージェント文字列に Chrome/W.X.Y.Z という文字列が表示されている場合、その W.X.Y.Z はプレースホルダであり、そのユーザー エージェントが使用する Chrome ブラウザのバージョンを表しています（例: 41.0.2272.96）。このバージョン番号は徐々に数字が大きくなり、Googlebot が使用する最新の Chromium リリース バージョンに一致します。

このパターンのユーザー エージェントをログで探す場合、またはこのパターンのユーザー エージェントでサーバーをフィルタリングする場合、バージョン番号そのままを指定するのではなく、バージョン番号のワイルドカードを使用します。

robots.txt のユーザー エージェント

robots.txt ファイルの中で、複数のユーザー エージェントが見つかった場合は、最も限定的なものに従って Google のクロールが行われます。サイトのすべてのページをクロールの対象とする場合は、robots.txt ファイルを作成する必要はありません。一部のコンテンツに対して Google のクローラーによるアクセスをブロックまたは許可する場合は、Googlebot をユーザー エージェントとして指定します。たとえば、サイトのどのページも Google 検索に表示されるようにしたい場合や、AdSense 広告をサイトのページ上に表示したい場合は、robots.txt ファイルは必要ありません。また、一部のページに対して Google からのアクセスを一切ブロックしたい場合は、ユーザー エージェント Googlebot をブロックすると、Google の他のユーザー エージェントもすべてブロックされます。

さらに細かくコントロールしたい場合は、より具体的に指定します。たとえば、サイトのページをすべて Google 検索に表示させても、/personal ディレクトリにある画像はクロールの対象外にしたい場合があります。その場合、robots.txt を使用して、ユーザー エージェント Googlebot-Image による /personal ディレクトリ内のファイルのクロールを禁止するように指定します（一方で、Googlebot にはすべてのファイルのクロールを許可します）。次に例を示します。

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

別の例として、サイトのすべてのページに広告を表示させても、ページを Google 検索には表示させたくない場合が考えられます。その場合は、次のように Googlebot をブロックし、ユーザー エージェント Mediapartners-Google によるアクセスは許可します。

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

クロール速度の制御

Google のクローラーは、それぞれ特定の目的を持って、さまざまな頻度でサイトにアクセスします。Google は、アルゴリズムを使用して各サイトの最適なクロール頻度を決定します。Google のクローラーによるサイトのクロール頻度が多すぎる場合は、クロール頻度を減らすことができます。

廃止された Google クローラー

以下の Google クローラーは使用されなくなりました。あくまで参考のためにここに列挙しています。

廃止された Google クローラー

ウェブ上の Duplex

「ウェブ上の Duplex」サービスをサポートしていました。

ユーザー エージェント トークン DuplexWeb-Google
完全なユーザー エージェント文字列 Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

該当する条件下の検索でユーザーがページをクリックするたびに no-transform ヘッダーの存在を確認するためのものでした。Web Light ユーザー エージェントは、人間の訪問者による明示的な閲覧リクエストにのみ使用され、自動クロール リクエストをブロックするための robots.txt ルールは無視していました。

ユーザー エージェント トークン googleweblight
完全なユーザー エージェント文字列 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

モバイルアプリ Android

Android アプリページの広告品質をチェックします。AdsBot-Google ロボットルールに従いますが、robots.txt のグローバル ユーザー エージェント（*）は無視します。

ユーザー エージェント トークン AdsBot-Google-Mobile-Apps
完全なユーザー エージェント文字列 AdsBot-Google-Mobile-Apps