Googlebot のクロール頻度を下げる

Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイト内のページをできるだけ多くクロールすることを目標にしています。場合によっては、Google からのサイトのクロールにより、インフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあります。これを軽減するために、Googlebot からのリクエストの数を減らすことができます。

短期間（たとえば、数時間や 1～2 日）の間のクロール頻度を緊急に下げる必要がある場合は、クロール リクエストに対する 200 の代わりに、500、503、または 429 HTTP レスポンス ステータス コードを返すようにします。Googlebot では、500、503、または 429 HTTP レスポンス ステータス コードを含む URL が多数検出されると（ウェブサイトを無効にした場合などが該当）、そのサイトのクロール頻度が下がるようになっています。クロール頻度の低減は、サイトのホスト名全体（例: subdomain.example.com）に影響を与えます。エラーを返す URL のクロールか、コンテンツを返す URL のクロールかは関係ありません。エラーの数が減ると、クロール頻度は自動的に回復します。

なお、クロールが急激に増加する場合は、サイトの構造に非効率な箇所があるなど、サイトに問題がある可能性があります。クロール効率の最適化に関するガイドをご確認ください。

Googlebot にエラーを返すことが難しいインフラストラクチャをお使いの場合は、特別なリクエストを送信することで、クロール頻度を下げることができます。クロール頻度の増加をリクエストすることはできません。