Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Mengurangi frekuensi crawling Google
Infrastruktur crawler Google memiliki algoritma canggih untuk menentukan frekuensi crawling yang optimal
bagi suatu situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman dari situs Anda di setiap kunjungan tanpa
membuat server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan
pemuatan yang berat pada infrastruktur Anda, atau menyebabkan biaya yang tidak diinginkan selama gangguan. Untuk mengatasi masalah ini,
Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh crawler Google.
Memahami penyebab peningkatan crawling yang tajam
Peningkatan crawling yang tajam mungkin disebabkan struktur situs yang tidak efisien atau masalah pada
situs Anda. Berdasarkan laporan yang kami terima sebelumnya, penyebab paling umum adalah:
Konfigurasi URL yang tidak efisien di situs, yang biasanya disebabkan oleh
fungsi situs tertentu:
Navigasi berfaset atau fungsi pengurutan dan pemfilteran lainnya pada situs
Sebaiknya hubungi perusahaan hosting Anda dan periksa log akses terbaru
server Anda untuk memahami sumber traffic, dan lihat apakah traffic tersebut sesuai dengan penyebab umum
peningkatan crawling yang tajam yang disebutkan di atas. Kemudian, lihat panduan kami tentang
mengelola crawling URL navigasi berfaset
dan
mengoptimalkan efisiensi crawling.
Mengurangi traffic crawler dengan segera (untuk keadaan darurat)
Jika Anda perlu segera mengurangi frekuensi crawling untuk jangka waktu yang singkat (misalnya, beberapa
jam, atau 1-2 hari), tampilkan kode status respons HTTP 500, 503, atau 429, bukan 200, pada permintaan crawl. Infrastruktur crawling Google
akan mengurangi frekuensi crawling situs Anda jika menemukan jumlah URL yang signifikan
dengan kode status respons HTTP 500, 503, atau 429 (misalnya,
jika Anda
menonaktifkan situs Anda).
Pengurangan frekuensi crawling memengaruhi seluruh nama host situs Anda (misalnya,
subdomain.example.com), baik crawling URL yang menampilkan error, maupun
URL yang menampilkan konten. Setelah jumlah error ini dikurangi, frekuensi crawling akan
mulai meningkat lagi secara otomatis.
Permintaan khusus untuk mengurangi frekuensi crawling
Jika infrastruktur Anda tidak dapat menayangkan error ke crawler Google,
ajukan permintaan khusus
untuk melaporkan masalah terkait tingginya frekuensi crawling yang tidak wajar, dengan menyebutkan frekuensi yang optimal bagi situs dalam
permintaan Anda. Anda tidak dapat meminta peningkatan frekuensi crawling, dan mungkin memerlukan waktu beberapa hari agar
permintaan tersebut dapat dievaluasi dan dipenuhi.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Informasi yang saya butuhkan tidak ada","missingTheInformationINeed","thumb-down"],["Terlalu rumit/langkahnya terlalu banyak","tooComplicatedTooManySteps","thumb-down"],["Sudah usang","outOfDate","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Masalah kode / contoh","samplesCodeIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-08-28 UTC."],[[["\u003cp\u003eGoogle automatically adjusts crawl rate to avoid overloading your server, but you can reduce it further if needed.\u003c/p\u003e\n"],["\u003cp\u003eTemporarily reducing crawl rate can be achieved by returning 500, 503, or 429 HTTP response codes, but this impacts content freshness and discovery.\u003c/p\u003e\n"],["\u003cp\u003eFor longer-term crawl rate reduction, file a special request with Google; however, increasing the rate isn't possible.\u003c/p\u003e\n"],["\u003cp\u003eBefore reducing crawl rate, consider optimizing your website structure for better crawling efficiency as this might resolve the issue.\u003c/p\u003e\n"],["\u003cp\u003eExtended use of error codes to control crawling may lead to URLs being dropped from Google's index, so it's crucial to use this method cautiously.\u003c/p\u003e\n"]]],["Google's crawlers may need to be slowed if they overload a site. Common causes for increased crawling include inefficient site structure, like faceted navigation. For urgent reductions, return `500`, `503`, or `429` HTTP status codes to crawler requests; this will lower the crawl rate, but can negatively affect site indexing if done for too long. Alternatively, if returning errors isn't viable, submit a special request specifying an optimal crawl rate. Note: reducing the crawl rate will result in slower updates of existing pages.\n"],null,[]]
