Memverifikasi Googlebot dan crawler Google lainnya
Anda dapat memverifikasi apakah web crawler yang mengakses server Anda benar-benar crawler Google, seperti Googlebot. Tindakan ini berguna jika Anda khawatir terhadap spammer atau pembuat masalah lainnya yang mengakses situs Anda dengan mengaku sebagai Googlebot.
Ada dua metode untuk memverifikasi crawler Google:
- Secara manual: Untuk pencarian satu kali, gunakan alat command line. Metode ini sudah cukup bagi sebagian besar kasus penggunaan.
- Secara otomatis: Untuk pencarian dalam skala besar, gunakan solusi otomatis untuk mencocokkan alamat IP crawler dengan daftar alamat IP Googlebot yang dipublikasikan.
Menggunakan alat command line
-
Jalankan pencarian balik DNS di alamat IP pengaksesan dari log Anda, menggunakan
perintah
host
. -
Verifikasi bahwa nama domain adalah
googlebot.com
ataugoogle.com
. -
Jalankan pencarian penerusan DNS pada nama domain yang diambil di langkah pertama menggunakan
perintah
host
pada nama domain yang diambil. - Verifikasi bahwa alamat tersebut sama dengan alamat IP pengaksesan asli dari log Anda.
Contoh 1:
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Contoh 2:
host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240
Contoh 3:
host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77
Menggunakan solusi otomatis
Selain yang sudah disebutkan, Anda dapat mengidentifikasi Googlebot berdasarkan alamat IP dengan mencocokkan alamat IP crawler dengan daftar alamat IP Googlebot. Untuk alamat IP Google lainnya tempat situs Anda mungkin diakses (misalnya, berdasarkan permintaan pengguna atau Apps Script), cocokkan alamat IP pengaksesan dengan daftar alamat IP Google. Perhatikan bahwa alamat IP dalam file JSON ditampilkan dalam format CIDR.