HTTP ステータス コードが Google のクローラーに及ぼす影響

Google は、受け取ったものを次の処理ステップ（プロダクト固有）に渡します。Google 検索の場合、次のシステムはインデックス登録パイプラインです。コンテンツはインデックス登録システムによってインデックスに登録される可能性がありますが、登録される保証はありません。

Google は、コンテンツの受信を一定期間待機してから、受信したすべての情報を次の処理ステップ（商品固有）に渡します。タイムアウト期間はユーザー エージェントによって異なります。たとえば、スマートフォン用 Googlebot と画像用 Googlebot ではタイムアウト期間が異なる場合があります。

Google はコンテンツを受信できなかったため、処理できません。

Google はリダイレクトを追跡します。Google のシステムはリダイレクトを、リダイレクト先を処理する必要があることを示す強いシグナルとして使用します。

デフォルトでは、Google のクローラーはリダイレクトを追跡し、Google のシステムはリダイレクトを、リダイレクト先を処理する必要があることを示す弱いシグナルとして使用します。他のプロダクトでは、リダイレクトの処理が異なる場合があります。

Google クローラーは、コンテンツが前回のクロール時と同じであることを次の処理システムに知らせます。Google 検索の場合、インデックス登録パイプラインは URL のシグナルを再計算する場合がありますが、再計算しない場合、ステータス コードはインデックス登録に影響しません。

429 を除くすべての 4xx エラーは同じように扱われます。Google クローラーは、コンテンツが存在しないことを次の処理システムに知らせます。

Google 検索の場合、URL が以前インデックスに登録されていた場合は、インデックス登録パイプラインによってインデックスから削除されます。新たに検出された 404 ページは処理されません。 クロール頻度は徐々に低下します。

Google のクローラーは、429 ステータス コードをサーバーが過負荷状態であることを示すシグナルとして扱います。これはサーバーエラーとみなされます。

Google はサイトのクロール頻度を落とします。クロール頻度の低下は、サーバーエラーを返す個別の URL の数に比例します。Google 検索の場合、Google のインデックス登録パイプラインは、繰り返してサーバーエラーを返す URL をインデックスから削除します。