Mengurangi kecepatan crawling Googlebot

Google memiliki algoritme canggih untuk menentukan kecepatan crawling yang optimal pada sebuah situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda di setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan pemuatan yang berat pada infrastruktur Anda, atau menyebabkan biaya yang tidak diinginkan selama gangguan. Untuk mengatasi masalah ini, Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh Googlebot.

Jika Anda perlu segera mengurangi frekuensi crawling untuk jangka waktu yang singkat (misalnya, beberapa jam, atau 1-2 hari), tampilkan kode status respons HTTP 500, 503, atau 429, bukan 200, pada permintaan crawl. Googlebot akan mengurangi frekuensi crawling situs Anda jika menemukan jumlah URL yang signifikan dengan kode status respons HTTP 500, 503, atau 429 (misalnya, jika Anda menonaktifkan situs Anda). Pengurangan frekuensi crawling memengaruhi seluruh nama host situs Anda (misalnya, subdomain.example.com), baik crawling URL yang menampilkan error, maupun URL yang menampilkan konten. Setelah jumlah error ini dikurangi, frekuensi crawling akan mulai meningkat lagi secara otomatis.

Perhatikan bahwa peningkatan crawling yang tajam mungkin disebabkan oleh tidak efisiennya struktur situs atau ada masalah pada situs Anda. Lihat panduan kami tentang mengoptimalkan efisiensi crawling.

Jika infrastruktur Anda tidak memungkinkan penayangan error ke Googlebot, ajukan permintaan khusus untuk mengurangi frekuensi crawling. Anda tidak dapat meminta peningkatan frekuensi crawling.