Googlebot'u ve diğer Google tarayıcılarını doğrulama

Sunucunuza erişen bir web tarayıcısının Googlebot gibi gerçekten bir Google tarayıcısı olup olmadığını doğrulayabilirsiniz. Spam yapanların veya kötü niyetli başka kişilerin Googlebot olduklarını iddia ederek sitenize eriştiğinden şüpheleniyorsanız bu yararlı bir yöntemdir.

Google tarayıcılarını doğrulamanın iki yöntemi vardır:

Manuel olarak: Tek seferlik aramalarda komut satırı araçlarını kullanın. Bu yöntem çoğu kullanım alanı için yeterlidir.
Otomatik olarak: Büyük ölçekli aramalarda tarayıcının IP adresini, yayınlanan Googlebot IP adresleri listesiyle eşleştirmek için otomatik bir çözüm kullanın.

Komut satırı araçlarını kullanma

Günlüklerinizde, erişimde bulunan IP adresi için host komutunu kullanarak ters DNS araması çalıştırın.
Alan adının googlebot.com veya google.com olduğunu doğrulayın.
1. adımda aldığınız alan adı için ileriye doğru DNS araması çalıştırın. Bunun için, alınan alan adında host komutunu kullanın.
Bunun, günlüklerinizde kayıtlı, orijinal erişimde bulunan IP adresiyle aynı olduğunu doğrulayın.

Örnek 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Örnek 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Örnek 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Otomatik çözümleri kullanma

Alternatif olarak da tarayıcının IP adresini, Googlebot IP adresleri listesiyle eşleştirerek Googlebot'u IP adresine göre tanımlayabilirsiniz. Sitenizin erişilebildiği diğer Google IP adresleri için (örneğin, kullanıcı isteği veya Apps Komut Dosyaları) erişim IP adresini Google IP adres listesi ile eşleştirin. JSON dosyalarındaki IP adreslerinin CIDR biçiminde gösterildiğini unutmayın.