Netzwerk- und DNS-Fehler für die Crawler von Google beheben

Netzwerk- und DNS-Fehler haben bereits nach kurzer Zeit negative Auswirkungen darauf, ob Google eine URL crawlen kann. Google behandelt Zeitüberschreitungen im Netzwerk, das Zurücksetzen der Verbindung und DNS-Fehler ähnlich wie 5xx-Serverfehler. Bei Netzwerkfehlern verlangsamt sich das Crawling sofort, da ein Netzwerkfehler ein Zeichen dafür sein kann, dass der Server überlastet ist. Da Google nicht auf den Server zugreifen konnte, auf dem die Website gehostet wurde, hat Google auch keine Inhalte vom Server empfangen.

Das Fehlen von Inhalten bedeutet für die Google Suche, dass Google die gecrawlten URLs nicht indexieren kann. Bereits indexierte URLs, die nicht erreichbar sind, werden innerhalb von wenigen Tagen aus dem Google-Index entfernt. Die Search Console generiert möglicherweise für jeden Fehler eine eigene Fehlermeldung.

Netzwerkfehler beheben

Diese Fehler treten auf, bevor Google mit dem Crawlen einer URL beginnt oder während sie gecrawlt wird. Sie treten möglicherweise auf, bevor der Server antworten kann – in diesem Fall gibt es keinen Statuscode, der auf Probleme hinweisen kann. Die Diagnose dieser Fehler ist deshalb unter Umständen schwieriger. So lassen sich Fehler bei Zeitüberschreitungen und beim Zurücksetzen der Verbindung beheben:

  • Prüfe die Firewalleinstellungen und Logs. Möglicherweise sind die Blockierregeln zu allgemein. Achte darauf, dass Google-IP-Adressen nicht durch Firewallregeln blockiert werden.
  • Prüfe den Netzwerkverkehr. Du kannst Tools wie tcpdump und Wireshark zur Erfassung und Analyse von TCP-Paketen verwenden. Suche dabei nach Anomalien, die auf eine bestimmte Netzwerkkomponente oder ein Servermodul verweisen.
  • Wenn du nichts Verdächtiges findest, wende dich an den Hostanbieter.

Der Fehler kann in jeder Serverkomponente stecken, die den Netzwerkverkehr verarbeitet. Eine überlastete Netzwerkschnittstelle beispielsweise kann zu Paketverlust und Zeitüberschreitungen führen (es kann also keine Verbindung hergestellt werden) und der Grund dafür sein, dass die Verbindung zurückgesetzt wird (RST-Paket wird gesendet, weil ein Port versehentlich geschlossen wurde).

DNS-Fehler beheben

DNS-Fehler werden meist durch eine fehlerhafte Konfiguration verursacht, können aber auch durch eine Firewallregel hervorgerufen werden, die die DNS-Abfragen von Google blockiert. So lassen sie sich beheben:

  • Prüfe deine Firewallregeln. Achte darauf, dass keine der IP-Adressen von Google durch eine Firewallregel blockiert wird und dass sowohl UDP- als auch TCP-Anfragen zulässig sind.
  • Prüfe die DNS-Einträge. Prüfe, ob deine A- und CNAME-Einträge auf die richtigen IP-Adressen bzw. Hostnamen verweisen. Beispiel: 
    dig +nocmd example.com a +noall +answer
     
    dig +nocmd www.example.com cname +noall +answer
  • Prüfe, ob alle Nameserver auf die richtigen IP-Adressen deiner Website verweisen. Beispiel: 
    dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...
  • Wenn du in den letzten 72 Stunden Änderungen an der DNS-Konfiguration vorgenommen hast, musst du möglicherweise warten, bis diese im gesamten DNS-Netzwerk wirksam werden. Um den Vorgang zu beschleunigen, kannst du den Cache der öffentlichen DNS-Server von Google leeren.
  • Wenn du einen eigenen DNS-Server hast, achte darauf, dass er fehlerfrei funktioniert und nicht überlastet ist.