Riduci la frequenza di scansione di Google

L'infrastruttura del crawler di Google dispone di sofisticati algoritmi che consentono di determinare la frequenza di scansione ottimale di un sito. Il nostro obiettivo è fare a ogni visita la scansione del maggior numero possibile di pagine del tuo sito senza sovraccaricare il server. In alcuni casi, la scansione del sito da parte di Google potrebbe causare un carico critico sull'infrastruttura o costi indesiderati durante un'interruzione del servizio. Per ovviare a questo problema, puoi decidere di ridurre il numero di richieste fatte dai crawler di Google.

Comprendi la causa del forte aumento della scansione

Un forte aumento della scansione potrebbe essere causato da inefficienze nella struttura del tuo sito o da altri problemi. In base alle segnalazioni che abbiamo ricevuto in passato, le cause più comuni sono:

• Configurazione inefficiente degli URL sul sito, che in genere è causata da funzionalità specifiche del sito:
  • Navigazione per facet o altre funzionalità di ordinamento e filtro
  • Un calendario con molti URL per date specifiche
• Un target dell'annuncio dinamico della rete di ricerca

Ti consigliamo vivamente di contattare la tua società di hosting e di esaminare i log di accesso recenti del tuo server per capire la sorgente del traffico e verificare se corrisponde a una di queste cause comuni di un forte aumento della scansione. Dopodiché, consulta le nostre guide su come gestire la scansione degli URL di navigazione per facet e ottimizzare l'efficienza di scansione.

Riduci in maniera urgente il traffico dei crawler (per emergenze)

Per ridurre urgentemente la frequenza di scansione per un breve periodo di tempo (ad esempio un paio d'ore o 1-2 giorni), alle richieste di scansione restituisci un codice di stato della risposta HTTP 500, 503 o 429 anziché 200.

Quando l'infrastruttura di scansione di Google rileva un numero significativo di URL con codici di stato della risposta HTTP 500, 503 o 429 (ad esempio, se hai disattivato il tuo sito web):

• Riduce la frequenza di scansione del tuo sito nell'intero nome host (ad esempio, subdomain.example.com), inclusi sia gli URL che restituiscono errori che quelli che restituiscono contenuti.
• La frequenza di scansione aumenta di nuovo automaticamente una volta ridotto il numero di questi errori.

Quando restituisci un codice di stato 503 o 429, puoi anche includere un'intestazione HTTP Retry-After (come definito in RFC 9110 HTTP Semantics) per indicare quando i crawler di Google possono riprovare la richiesta, utilizzando un ritardo in secondi o una data e un'ora UTC assolute:

• Un ritardo in secondi:

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• Data e ora UTC assolute:

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Richieste eccezionali per ridurre la frequenza di scansione

Se nella tua infrastruttura non è possibile fornire errori ai crawler di Google, invia una richiesta speciale per segnalare un problema relativo a una frequenza di scansione insolitamente elevata, indicando nella richiesta la frequenza ottimale per il tuo sito. Non puoi richiedere un aumento della frequenza di scansione e potrebbero essere necessari diversi giorni prima che la richiesta venga valutata e soddisfatta.