Google のウェブ クロールに関する注意事項

Google は 30 年を超える期間にわたってオープン ウェブをクロールしており、ウェブクローラの仕組みについて頻繁にご質問をいただきます。そこで、Google のクローラーに関するいくつかの事実と、クローラーが世界中の情報を整理して、ウェブ上のコンテンツにユーザーを誘導する仕組みについて説明します。

クロールとは簡潔に示すと、クロールは Google がウェブを「認識」する方法です。

クロールとは、自動化されたソフトウェアを使用して新しいウェブページを発見し、それらを理解するプロセスのことです。これにより、ユーザーが Google でウェブページを検索したときに、そのページが存在することを Google が認識し、検索結果に含めることができます。すべての検索エンジンは、クロールに依存して、どのようなページや情報が存在するかを把握しています。詳しくは、Google 検索がページをクロールする方法に関する動画をご覧ください。

Google には多くのクローラーがあり、それぞれに重要な役割があります

Googlebot は Google の最もよく知られているクローラーで、Google 検索の結果を最新の状態に保つために使用されます。また、Google 画像検索や Google ショッピングなど、他のサーフェスに特化したクローラーもあります。Google が最も一般的に使用しているクローラーとそれらの用途について、ドキュメントの全文を掲載しています。Google のクローラーは、簡単に識別できるユーザー エージェント名と既知のインターネット アドレスを使用します。これにより、サイト所有者は、表示されている Google クローラーが正当なものであることを確認できます。

Google は、最新の更新情報を検索し、最新の検索結果を提供するために、繰り返しクロールを行います

ニュース速報の記事をキャッチするために、ニュースのホームページを数分ごとに再クロールすることがあります。何年も変更されていないことが確認された場合は、1 か月後に再クロールすることもあります。サイト所有者は、新しいページや更新されたページを Google に伝えるサイトマップ ファイルを使用して、再クロールの頻度に影響を与えることができます。

頻繁なクロールは良い兆候です

サイトが頻繁にクロールされている場合は、ユーザーが探している新鮮なコンテンツや関連性の高いコンテンツがページに含まれており、Google のシステムがその需要を認識していることを示しています。オンライン ショッピングはその好例です。Google は e コマース サイトを頻繁にクロールして、小売業者の最新の価格、プロモーション、在庫状況を検索結果に表示します。

ページが複雑になるにつれて、Google のクロールは時間の経過とともに進化してきました

頻繁に再クロールするもう 1 つの理由は、ウェブページの豊富さと提供内容を完全に理解するためです。Google のクローラーはレンダリングと呼ばれる手法を使用します。この手法では、サイトを完全に読み込んで、実在する人物と同じようにページを「認識」します。ウェブページは年々複雑化しており、モバイルページの平均サイズは 816 キロバイトから 2.3 メガバイトに増加し、読み込むファイル数も画像からインタラクティブなコンポーネントまで 60 を超える種類に増加しています。そのため、ウェブページの代表的なスナップショットを完全に取得するには、同じページを数回クロールする必要がある場合があります。新しい要素が常に追加されている場合は、さらに多くの回数クロールする必要があります。

Google はクロールを自動的に最適化

Google のクローラーは効率性を重視して設計されており、サイト所有者への影響を最小限に抑えるように自動的に調整されます。たとえば、サイトの速度が低下したり、エラーが返されたりすると、サイトのサーバーに過負荷がかからないように、クロール頻度が自動的に変更されます。Google は、クロールされたコンテンツをキャッシュに保存することで、無駄なクロールを制限しようとしています。また、クローラーがウェブサイトをより多く検出すると、クロールを減らしてもカバーできるセクションを認識できるようになります。たとえば、9999 年までのカレンダーは、全体をクロールする必要はないでしょう。サイト所有者は、クロールする必要のないコンテンツを特定することで、ウェブサイトのインフラストラクチャ費用を削減し、インターネット全体の効率性を高めることができます。

Google のクローラーが、許可なくペイウォールやサブスクリプション コンテンツにアクセスすることはありません

デフォルトでは、オープン ウェブでアクセスできないページ（コンテンツがログインページの後ろにある場合など）には、Google のクローラーもアクセスできません。Google にサブスクリプション ページへのアクセスを明示的に許可する場合（Google がユーザーをそのコンテンツに誘導できるようにする場合など）は、サイト所有者向けの特定のガイダンスが用意されています。クローラーにサブスクリプション アクセスを提供することを選択した場合は、構造化データを使用して、スパムに関する Google のルールをトリガーすることなく、人間の訪問者にログイン画面を表示し続けることができます。また、プレビュー制御を活用することで、サブスクリプション コンテンツがページのプレビューに表示されないようにすることもできます。

サイト所有者は、クロールされるコンテンツとその方法を管理できます

Google は、robots.txt などのオープンなウェブ標準を尊重しています。robots.txt は、Google のようなクローラーがページをどのように操作すべきかをサイト所有者が宣言できるシンプルなテキスト ファイルです。robots.txt と robots メタタグを使用すると、ウェブサイトは Google やその他のサービスにコンテンツへのアクセス方法を簡単に伝えることができます。検索結果にページが表示されないようにブロックできます。サイトマップを使用して、クロールしてほしい新しいコンテンツを Google に伝えることができます。また、クロール バジェットを使用して、Google がサイトをクロールする頻度を管理できます。

Google の標準クローラーは、コンテンツへのアクセス方法や使用方法に関するウェブサイトの選択を常に尊重します

クロール後、クロールされたデータを複数回使用して、サイトへの無駄な繰り返しリクエストの必要性を減らすことがあります。このデータを再利用する場合でも、Google は robots.txt を通じてサイトが行った選択と、そのオープン ウェブ プロトコルを通じて提供されるコントロールを尊重し続けます。たとえば、サイトは robots.txt で Google-Extended を使用して、コンテンツが Gemini モデルの将来のバージョンのトレーニングに役立つかどうかなどを制御できます。Google-Extended を使用しても、検索でのサイトの登録には影響しません。また、Google-Extended を検索でのランキング シグナルとして使用することもありません。

Google は、サイト所有者が Google のクロール エクスペリエンスを管理するためのツールを多数提供しています。その中には、サイト所有者が無料で利用できる Google Search Console も含まれます。クロールした量とその理由に関する情報を提供します。また、サーバーのダウンタイムや速度の問題などの問題を診断するのにも役立ちます。さらに、Search Console では、サイトのページが検索でどのように表示されているか、ユーザーがどのように操作しているかに関する包括的な情報も提供されます。

Google のクローラーは、ユーザーをウェブ上の最適なコンテンツに誘導するのに役立てられます。Google は、クローラーの機能と効率を向上させる方法を常に模索しています。