Apa Pengaruh Anggaran Crawling untuk Googlebot

Senin, 16 Januari 2017

Akhir-akhir ini, kita mendengar banyak definisi untuk "anggaran crawling", tetapi tidak ada satu istilah yang benar-benar menjelaskan "anggaran crawling" secara eksternal. Melalui postingan ini, kami akan memperjelas definisinya menurut kami dan pengaruhnya bagi Googlebot.

Pertama-tama, kami ingin menekankan bahwa anggaran crawling, seperti yang dijelaskan di bawah, bukanlah hal yang harus dikhawatirkan oleh kebanyakan penayang. Jika halaman baru cenderung di-crawl pada hari yang sama saat ditayangkan, anggaran crawling bukanlah hal yang perlu diperhatikan oleh webmaster. Demikian halnya jika sebuah situs memiliki kurang dari beberapa ribu URL, biasanya situs tersebut akan di-crawl secara efisien.

Menentukan prioritas mengenai apa yang akan di-crawl, kapan, dan seberapa banyak resource yang dapat dialokasikan server yang menghosting situs untuk crawling akan lebih penting bagi situs yang lebih besar, atau situs yang membuat halaman secara otomatis berdasarkan parameter URL.

Batas kecepatan crawling

Googlebot didesain untuk menjadi komponen web yang bermanfaat. Crawling adalah prioritas utamanya, sembari memastikan hal ini tidak menyulitkan pengguna yang mengunjungi situs. Kami menyebut hal ini "batas kecepatan crawling", yang membatasi kecepatan pengambilan maksimum untuk situs tertentu.

Singkatnya, hal ini menunjukkan jumlah koneksi paralel simultan yang dapat digunakan Googlebot untuk melakukan crawling ke situs, serta waktu tunggu antara pengambilan satu ke pengambilan berikutnya. Kecepatan crawling dapat naik dan turun berdasarkan beberapa faktor:

• Kualitas crawl: Jika situs merespons dengan sangat cepat untuk sementara waktu, batasnya akan naik, yang berarti lebih banyak koneksi dapat digunakan untuk melakukan crawling. Jika situs melambat atau merespons dengan error server, batasnya akan turun dan Googlebot akan lebih sedikit melakukan crawling.
• Batas yang disetel di Search Console: Pemilik situs dapat mengurangi crawling Googlebot di situs mereka. Perlu diperhatikan bahwa menyetel batas yang lebih tinggi tidak akan otomatis meningkatkan crawling.

Permintaan crawl

Meskipun frekuensi crawling belum mencapai batasnya, apabila tidak ada permintaan dari pengindeksan, aktivitas Googlebot akan menjadi rendah. Dua faktor yang memiliki peran penting dalam menentukan permintaan crawl antara lain:

• Popularitas: URL yang lebih populer di internet cenderung di-crawl lebih sering untuk mempertahankan posisinya di indeks kami.
• Keusangan: Sistem kami berupaya mencegah URL menjadi usang dalam indeks.

Selain itu, peristiwa yang berdampak pada seluruh situs seperti perpindahan situs dapat memicu peningkatan permintaan crawl untuk mengindeks ulang konten dengan URL baru.

Dengan mempertimbangkan kecepatan crawling dan permintaan crawl, kami mendefinisikan anggaran crawling sebagai jumlah URL yang dapat dan ingin di-crawl oleh Googlebot.

Faktor yang memengaruhi anggaran crawling

Menurut analisis kami, memiliki banyak URL bernilai tambah rendah dapat memberikan dampak yang buruk pada proses crawling dan pengindeksan situs. Berdasarkan pengamatan kami, URL bernilai tambah rendah dapat dikategorikan sebagai berikut, sesuai dengan urutan signifikansinya:

• Navigasi berfaset dan ID sesi
• Konten duplikat pada situs
• Halaman soft error
• Halaman yang diretas
• Ruang dan proxy tidak terbatas
• Konten berkualitas rendah dan spam

Menyia-nyiakan resource server untuk halaman seperti ini akan mengurangi aktivitas crawl pada halaman yang benar-benar bernilai, sehingga dapat menyebabkan penundaan signifikan dalam menemukan konten yang bermutu di situs.

Pertanyaan teratas

Crawling adalah pintu masuk situs ke hasil penelusuran Google. Crawling situs yang efisien akan membantu pengindeksannya di Google Penelusuran.