Esegui il debug degli errori di rete e DNS per i crawler di Google

Gli errori di rete e gli errori DNS hanno effetti rapidi e negativi sulla capacità di Google di eseguire la scansione di un URL. Google considera gli errori di timeout di rete, di reimpostazione della connessione e DNS in modo simile agli errori del server 5xx. In caso di errori di rete, la scansione inizia immediatamente a rallentare, in quanto un errore di rete indica che il server potrebbe non essere in grado di gestire il carico di gestione. Poiché Google non ha potuto raggiungere il server che ospita il sito, anche Google non ha ricevuto alcun contenuto dal server.

Per la Ricerca Google, la mancanza di contenuti significa che Google non può indicizzare gli URL sottoposti a scansione; inoltre, quelli già indicizzati non raggiungibili verranno rimossi dall'indice di Google entro pochi giorni. Search Console potrebbe generare messaggi per ciascun errore.

Esegui il debug degli errori di rete

Questi errori si verificano prima o durante la scansione di un URL da parte di Google. Poiché gli errori possono verificarsi prima che il server possa rispondere e, di conseguenza, non esiste un codice di stato che possa suggerire la presenza di problemi, diagnosticare questi errori può essere più difficile. Per eseguire il debug degli errori di timeout e di reimpostazione della connessione:

Esamina le impostazioni del firewall e i relativi log. Potrebbe essere presente una serie di regole di blocco eccessivamente generiche. Assicurati che gli indirizzi IP di Google non siano bloccati da regole firewall.
Esamina il traffico di rete. Utilizza strumenti come tcpdump e Wireshark per acquisire e analizzare i pacchetti TCP e individuare anomalie relative a uno specifico componente di rete o modulo del server.
Se non trovi nulla di sospetto, contatta la tua società di hosting.

L'errore potrebbe riguardare qualsiasi componente del server che gestisce il traffico di rete. Ad esempio, le interfacce di rete sovraccariche potrebbero comportare l'eliminazione di pacchetti e, a loro volta, causare timeout (ovvero l'impossibilità di stabilire una connessione) e reimpostazioni della connessione (ovvero l'invio un pacchetto RST dovuto alla chiusura accidentale di una porta).

Esegui il debug degli errori DNS

Gli errori DNS in genere sono causati da errori di configurazione, ma possono anche essere causati da una regola firewall che blocca le Query DNS di Google. Per eseguire il debug degli errori DNS, segui questi passaggi:

Controlla le regole firewall. Assicurati che nessuno degli indirizzi IP di Google sia bloccato da regole firewall e che siano consentite le richieste UDP e TCP.
Esamina i record DNS. Verifica che i record A e CNAME rimandino rispettivamente agli indirizzi IP e al nome host corretti. Ad esempio:
```
dig +nocmd example.com a +noall +answer
```
```
dig +nocmd www.example.com cname +noall +answer
```

Verifica che tutti i server dei nomi rimandino agli indirizzi IP corretti del tuo sito. Ad esempio:

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

Se hai apportato modifiche alla tua configurazione DNS nelle ultime 72 ore, potresti dover attendere la propagazione delle modifiche sulla rete DNS globale. Per velocizzare la propagazione, puoi fare il flush della cache DNS pubblica di Google.
Se utilizzi un server DNS personalizzato, assicurati che funzioni correttamente e non sia sovraccarico.