Google のクローラに関するネットワーク エラーと DNS エラーをデバッグする
ネットワーク エラーおよび DNS エラーは、Google が URL を正常にクロールできるかどうかに直ちに悪影響を及ぼします。Googl は、ネットワーク タイムアウト、接続リセット、DNS エラーを 5xx サーバーエラーと同様に扱います。ネットワーク エラーの場合は、サーバーが配信負荷を処理できない可能性があることを示しているため、直ちにクロール頻度の低下が始まります。Google がサイトをホストしているサーバーにアクセスできなかったことは、Google がサーバーからコンテンツを受信することもできていないことを表しています。
Google 検索について、コンテンツがないと、Google はクロールされた URL をインデックスに登録できません。また、すでにインデックスに登録されている URL がアクセス不能な場合は、数日以内に Google のインデックスから削除されます。Search Console は、個々のエラーごとにエラーを生成する場合があります。
ネットワーク エラーをデバッグする
この種のエラーは、Google が URL のクロールを開始する前、または Google が URL をクロールしている最中に発生します。 サーバーが応答する前にエラーが発生するために、問題を特定するヒントになるステータス コードが返されず、エラーの診断が難しくなる場合があります。タイムアウト エラーと接続リセットエラーをデバッグするには、次の手順を実施します。
- ファイアウォールの設定とログを確認します。ブロックルール セットの範囲が広すぎる場合があります。Google の IP アドレスがファイアウォール ルールによってブロックされていないことを確認してください。
- ネットワーク トラフィックを確認します。tcpdump や Wireshark などのツールを使用して、TCP パケットをキャプチャして分析し、特定のネットワーク コンポーネントまたはサーバー モジュールを指し示す異常を探します。
- 疑わしい要因が見つからない場合は、ホスティング会社にお問い合わせください。
ネットワーク トラフィックを処理するサーバー コンポーネントにエラーが潜んでいる可能性があります。たとえば、過負荷状態のネットワーク インターフェースによって一部のパケットがドロップされると、タイムアウト（接続を確立できない）や接続リセット（ポートが誤って閉じられたために RST パケットが送信される）が生じることがあります。
DNS エラーをデバッグする
一般的に、DNS エラーは構成ミスが原因で発生しますが、Google の DNS クエリをブロックしているファイアウォール ルールが原因で発生することもあります。DNS エラーをデバッグするには、次の手順を実施します。
-
ファイアウォール ルールを調べます。ファイアウォール ルールによって Google のどの IP もブロックされていないことと、
UDPリクエストとTCPリクエストの両方が許可されていることを確認してください。 -
DNS レコードを確認します。
AレコードとCNAMEレコードが、それぞれ正しい IP アドレスとホスト名を指していることを確認します。次に例を示します。dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer
-
すべてのネームサーバーがサイトの正しい IP アドレスを指していることを確認します。次に例を示します。
dig +nocmd example.com ns +noall +answerexample.com. 86400 IN NS a.iana-servers.net. example.com. 86400 IN NS b.iana-servers.net.dig +nocmd @a.iana-servers.net example.com +noall +answerexample.com. 86400 IN A 93.184.216.34dig +nocmd @b.iana-servers.net example.com +noall +answer... - 過去 72 時間以内に DNS 構成に変更を加えた場合は、グローバル DNS ネットワーク全体に変更が伝播されるまで待つ必要があります。伝播を速める場合については、Google のパブリック DNS キャッシュをフラッシュする方法があります。
- 自前の DNS サーバーを運用している場合は、サーバーが正常で過負荷状態になっていないことを確認します。