Google クローラーの概要(ユーザー エージェント)
「クローラー」(「ロボット」や「スパイダー」と呼ばれることもあります)は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出してスキャンするプログラムを指す総称です。Google のメインのクローラーは Googlebot と呼ばれます。次の表に、リファラーログに表示される可能性のある一般的な Google のクローラーと、robots.txt 、robots メタタグ 、X-Robots-Tag
HTTP ディレクティブ でそのクローラーを指定する方法について示します。
次の表は、Google のさまざまなサービスで使用されているクローラーを示しています。
ユーザー エージェント トークン は、サイトのクロールルールを作成するにあたってクローラーのタイプを指定するために使われます。具体的には robots.txt の User-agent:
行に記述します。表に示すように、複数のトークンを持つクローラーもありますが、適用する各ルールで指定できるクローラー トークンは 1 つのみです。次のリストでは、すべてではありませんが、お客様のウェブサイトを訪れる可能性があるほとんどのクローラーについて記載しています。
完全なユーザー エージェント文字列 は、クローラーの詳細な説明であり、HTTP リクエストとウェブのログに表示されます。
クローラー
ユーザー エージェント トークン
APIs-Google
完全なユーザー エージェント文字列
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
モバイルウェブ Android 用 AdsBot
モバイルウェブ Android 用 AdsBot は、*
ワイルドカードを無視します。
Android のウェブページの広告品質 をチェックします。
ユーザー エージェント トークン
AdsBot-Google-Mobile
完全なユーザー エージェント文字列
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
モバイルウェブ用 AdsBot
モバイルウェブ用 AdsBot は、*
ワイルドカードを無視します。
iPhone のウェブページの広告品質 をチェックします。
ユーザー エージェント トークン
AdsBot-Google-Mobile
完全なユーザー エージェント文字列
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot
AdsBot は、*
ワイルドカードを無視します。
パソコンのウェブページの広告品質 をチェックします。
ユーザー エージェント トークン
AdsBot-Google
完全なユーザー エージェント文字列
AdsBot-Google (+http://www.google.com/adsbot.html)
ユーザー エージェント トークン
Mediapartners-Google
完全なユーザー エージェント文字列
Mediapartners-Google
画像用 Googlebot
ユーザー エージェント トークン
Googlebot-Image
Googlebot
完全なユーザー エージェント文字列
Googlebot-Image/1.0
ニュース用 Googlebot
動画用 Googlebot
ユーザー エージェント トークン
Googlebot-Video
Googlebot
完全なユーザー エージェント文字列
Googlebot-Video/1.0
ユーザー エージェント トークン
Googlebot
完全なユーザー エージェント文字列
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot/2.1 (+http://www.google.com/bot.html)
ユーザー エージェント トークン
Googlebot
完全なユーザー エージェント文字列
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ユーザー エージェント トークン
Mediapartners-Google
完全なユーザー エージェント文字列
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
モバイルアプリ Android
モバイルアプリ Android は、*
ワイルドカードを無視します。
Android のアプリページの広告品質 をチェックします。AdsBot-Google
ロボットルールに従います。
ユーザー エージェント トークン
AdsBot-Google-Mobile-Apps
完全なユーザー エージェント文字列
AdsBot-Google-Mobile-Apps
ユーザー エージェント トークン
FeedFetcher-Google
完全なユーザー エージェント文字列
FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
ユーザー エージェント トークン
Google-Read-Aloud
完全なユーザー エージェント文字列
現在のエージェント :
デスクトップ エージェント: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
モバイル エージェント: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
過去のエージェント(非推奨) :
google-speakr
注意 : ユーザーが開始したリクエストの場合、Google Favicon は robots.txt ルールを無視します。
ユーザー エージェント トークン
Googlebot-Image
Googlebot
完全なユーザー エージェント文字列
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Google StoreBot
ユーザー エージェント トークン
Storebot-Google
完全なユーザー エージェント文字列
デスクトップ エージェント:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
モバイル エージェント:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
注意 : Google サイト検証ツールは robots.txt のルールを無視します。
ユーザー エージェント トークン
Google-Site-Verification
完全なユーザー エージェント文字列
Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
ユーザー エージェントの Chrome/W.X.Y.Z に関する注意
表内でユーザー エージェント文字列に Chrome/W.X.Y.Z という文字列が表示されている場合、その W.X.Y.Z はプレースホルダであり、そのユーザー エージェントが使用する Chrome ブラウザのバージョンを表します(例: 41.0.2272.96
)。このバージョン番号は徐々に大きくなり、Googlebot が使用する最新の Chromium リリース バージョンに一致 します。
このパターンのユーザー エージェントをログで探す場合、またはこのパターンのユーザー エージェントでサーバーをフィルタリングする場合、バージョン番号そのものを指定するのではなく、バージョン番号のワイルドカードを使用します。
robots.txt のユーザー エージェント
robots.txt ファイルの中で、複数のユーザー エージェントが見つかった場合は、最も限定的なものに従って Google のクロールが行われます。サイトのページをすべてクロールさせたい場合は、robots.txt ファイルを作成する必要はありません。一部のコンテンツに対して Google のクローラーによるアクセスをブロックまたは許可する場合は、Googlebot をユーザー エージェントとして指定します。たとえば、サイトのどのページも Google 検索に表示されるようにしたい場合や、AdSense 広告をサイトのページ上に表示したい場合は、robots.txt ファイルは必要ありません。また、一部のページに対して Google からのアクセスを一切ブロックしたい場合は、ユーザー エージェント Googlebot
をブロックすると、Google の他のユーザー エージェントもすべてブロックされます。
さらに細かくコントロールしたい場合は、より具体的に指定します。たとえば、サイトのページを Google 検索に表示させても、/personal ディレクトリにある画像はクロールの対象外にしたい場合があります。その場合、robots.txt を使用して、ユーザー エージェント Googlebot-Image
による /personal ディレクトリ内のファイルのクロールを禁止する(一方で、Googlebot にはすべてのファイルのクロールを許可する)ように指定します。次に例を示します。
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /personal
別の例として、サイトのすべてのページに広告を表示させても、ページを Google 検索には表示したくない場合が考えられます。その場合は、次のように、Googlebot をブロックし、ユーザー エージェント Mediapartners-Google
によるアクセスは許可します。
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
ページによっては、次のように、複数の robots メタタグを使用してクローラーごとにディレクティブを指定することもあります。
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">
このような場合、Google はすべての不許可ディレクティブに従います。つまり、Googlebot は noindex
と nofollow
の両方のディレクティブに従います。Google によるサイトのクロール方法とインデックス登録方法の管理について詳細をご確認ください。
クロール速度の制御
Google のクローラーは、それぞれ特定の目的でさまざまな頻度でサイトにアクセスします。Google は、アルゴリズムを使用して各サイトの最適なクロール頻度を決定します。Google のクローラーによるサイトのクロール頻度が多すぎる場合は、クロール頻度を減らす ことができます。
廃止された Google クローラー
以下の Google クローラーは使用されなくなりました。あくまで参考のためにここに列挙します。
廃止された Google クローラー
ウェブ上の Duplex
「ウェブ上の Duplex」サービスをサポートしていました。
ユーザー エージェント トークン
DuplexWeb-Google
完全なユーザー エージェント文字列
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
注意 : ウェブ上の Duplex は、*
ワイルドカードを無視する場合があります。
Web Light
該当する条件下の検索でユーザーがページをクリックするたびに no-transform
ヘッダーの存在を確認するためのものでした。Web Light ユーザー エージェントは、人間の訪問者による明示的な閲覧リクエストにのみ使用され、自動クロール リクエストをブロックするための robots.txt ルールは無視していました。
ユーザー エージェント トークン
googleweblight
完全なユーザー エージェント文字列
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19