Cara Google meng-crawl halaman adaptif lokal
Jika situs memiliki halaman adaptif lokal (artinya, situs menampilkan konten yang berbeda berdasarkan negara yang terdeteksi atau bahasa pilihan pengunjung), Google mungkin tidak meng-crawl, mengindeks, atau memberi peringkat semua konten Anda untuk lokalitas yang berbeda. Hal ini dikarenakan alamat IP
default crawler Googlebot tampaknya berbasis di AS. Selain itu, crawler
mengirimkan permintaan HTTP tanpa menyetel Accept-Language
di header permintaan.
Crawling yang terdistribusi secara geografis
Googlebot meng-crawl dengan alamat IP yang berbasis di luar AS, selain alamat IP yang berbasis di AS.
Seperti yang selalu kami anjurkan, jika Googlebot tampaknya berasal dari negara tertentu, maka perlakukan seperti Anda memperlakukan pengguna lain dari negara tersebut. Artinya, jika Anda memblokir pengguna yang berada di AS agar tidak dapat mengakses konten, tetapi mengizinkan pengunjung dari Australia, maka server Anda harus memblokir Googlebot yang tampaknya berasal dari AS, tetapi mengizinkan akses ke Googlebot yang tampaknya berasal dari Australia.
Pertimbangan lainnya
- Googlebot menggunakan string agen pengguna yang sama untuk semua konfigurasi crawling. Pelajari string agen pengguna yang digunakan oleh crawler Google lebih lanjut.
- Anda dapat memverifikasi crawling Googlebot yang terdistribusi secara geografis menggunakan pencarian DNS terbalik.
- Pastikan situs Anda menerapkan protokol pengecualian robot secara konsisten untuk
setiap lokalitas. Artinya, tag
meta
robots dan file robots.txt harus memberikan aturan yang sama di setiap lokalitas.