Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Mengurangi kecepatan crawling Googlebot

Google memiliki algoritme canggih untuk menentukan kecepatan crawling yang optimal pada sebuah situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda pada setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan pemuatan yang berat pada infrastruktur Anda, atau menyebabkan biaya yang tidak diinginkan selama gangguan. Untuk mengatasi masalah ini, Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh Googlebot.

Jika Anda memutuskan untuk mengurangi kecepatan crawling Googlebot, berikut beberapa opsi yang dapat dipilih:

Mengurangi kecepatan crawling dengan Search Console (direkomendasikan)

Untuk mengurangi kecepatan crawling dengan cepat, Anda dapat mengubah kecepatan crawling Googlebot di Search Console. Perubahan yang dibuat pada setelan ini biasanya akan terlihat dalam beberapa hari. Untuk menggunakan setelan ini, verifikasi kepemilikan situs Anda terlebih dahulu. Pastikan Anda menghindari penetapan nilai frekuensi crawling yang terlalu rendah untuk kebutuhan situs Anda. Pelajari lebih lanjut pengaruh anggaran crawling untuk Googlebot.

Jika Setelan Frekuensi Crawling tidak tersedia untuk situs Anda, ajukan permintaan khusus untuk mengurangi frekuensi crawling. Anda tidak dapat meminta peningkatan frekuensi crawling.

Mengizinkan Google mengurangi frekuensi crawling secara otomatis

Jika Anda harus segera mengurangi frekuensi crawling dalam jangka waktu yang singkat (misalnya, beberapa jam, atau 1-2 hari), tampilkan halaman error yang informatif dengan kode status respons HTTP 500, 503, atau 429, bukan semua konten. Googlebot akan mengurangi frekuensi crawling situs Anda jika menemukan jumlah URL yang signifikan dengan kode status respons HTTP 500, 503, atau 429 (misalnya, jika Anda menonaktifkan situs Anda). Perubahan ini akan terlihat dalam crawling URL yang menampilkan error ini, serta dalam situs secara keseluruhan. Setelah jumlah error ini dikurangi, frekuensi crawling akan mulai meningkat lagi secara otomatis.