Googlebot のクロール頻度を下げる

Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイトのできる限り多くのページをクロールすることを目標にしています。場合によっては、Google からのサイトのクロールにより、インフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあります。これを軽減するために、Googlebot からのリクエストの数を減らすことができます。

Googlebot のクロール頻度を下げることを決定した場合、その方法には次の選択肢があります。

Search Console を使用してクロール頻度を下げる(推奨)

クロール頻度をすばやく下げるには、Search Console を使用して Googlebot のクロール頻度を変更します。通常、この設定変更は数日以内に反映されます。この設定を行うには、まずサイトの所有権を確認します。サイトが必要とする頻度よりも低すぎる頻度に設定しないようにしてください。詳細については、Googlebot のクロールの割り当てとはをご覧ください。

Google の仕組みにより自動的にクロール頻度を下げる

短期間(たとえば、数時間や 1~2 日)の間のクロール頻度を緊急に下げる必要がある場合は、コンテンツの代わりに、500、503、または 429 HTTP 結果コードを含む情報エラーページを返すようにします。Googlebot では、500、503、または 429 HTTP 結果コードを含む URL が多数検出されると(Web サイトを無効にした場合などが該当)、そのサイトのクロール頻度が下がるようになっています。この変更は、上記のエラーを返す URL のみではなく、ウェブサイト全体に対するクロールにも反映されます。エラーの数が減ると、クロール頻度は自動的に回復します。