Google tarayıcıları ve alıcılarından gelen istekleri doğrulama

Sunucunuza gönderilen bir isteğin gerçekten Google'dan olup olmadığını doğrulayabilirsiniz. Googlebot gibi tarayıcılar ve diğer istekler için doğrulama mümkündür. Spam yapanların veya kötü niyetli başka kişilerin Google'dan olduklarını iddia ederek sitenize eriştiğinden şüpheleniyorsanız bu yararlı bir yöntemdir.

Google tarayıcıları ve alıcıları üç kategoriye ayrılır:

Tür Açıklama Ters DNS maskesi IP aralıkları
Yaygın kullanılan tarayıcılar Google ürünleri için kullanılan genel tarayıcılar (Googlebot gibi). Otomatik taramalar için robots.txt kurallarına her zaman uyarlar. crawl-***-***-***-***.googlebot.com veya geo-crawl-***-***-***-***.geo.googlebot.com common-crawlers.json
Özel durum tarayıcıları Taranan site ile ürün arasında erişimle ilgili veya kötüye kullanıma özel tarama ya da getirme ile ilgili bir anlaşma olduğunda Google ürünleri (ör. AdsBot) için belirli işlevleri gerçekleştiren tarayıcılar veya alıcılar. Bu tarayıcılar veya alıcılar robots.txt kurallarına uyabilir veya uymayabilir. rate-limited-proxy-***-***-***-***.google.com special-crawlers.json
Kullanıcının tetiklediği alıcılar Son kullanıcının, getirme işlemini tetiklediği araçlar ve ürün işlevleri. Örneğin, Google Site Doğrulayıcı bir kullanıcının isteği üzerine işlem yapar. Getirme, bir kullanıcı tarafından istendiğinden bu getirme araçları robots.txt kurallarını yoksayar.
. Google tarafından kontrol edilen alıcılar user-triggered-fetchers-google.json nesnesindeki IP'lerden gelir ve google.com ana makine adına çözümlenir. user-triggered-fetchers.json nesnesindeki IP'ler gae.googleusercontent.com ana makine adına çözümlenir. Bu IP'lerin kullanımına örnek olarak Google Cloud'da (GCP) çalışan bir sitede harici RSS özet akışlarını getirmeyi gerektiren bir özelliğin kullanıcı tarafından istenmesi verilebilir. 		***-***-***-***.gae.googleusercontent.com veya google-proxy-***-***-***-***.google.com user-triggered-fetchers.json, user-triggered-fetchers-google.json, ve user-triggered-agents.json

Google'dan gelen istekleri doğrulamanın iki yöntemi vardır:

  • Manuel olarak: Tek seferlik aramalarda komut satırı araçlarını kullanın. Bu yöntem çoğu kullanım alanı için yeterlidir.
  • Otomatik olarak: Büyük ölçekli aramalarda tarayıcının IP adresini, yayınlanan Google IP adresleri listesiyle eşleştirmek için otomatik bir çözüm kullanın.

Komut satırı araçlarını kullanma

  1. Günlüklerinizde, erişimde bulunan IP adresi için host komutunu kullanarak ters DNS araması çalıştırın.
  2. Alan adının googlebot.com, google.com veya googleusercontent.com olduğunu doğrulayın.
  3. 1. adımda aldığınız alan adı için yönlendirilmiş DNS araması çalıştırın. Bunun için, alınan alan adında host komutunu kullanın.
  4. Bunun, günlüklerinizde kayıtlı, orijinal erişimde bulunan IP adresiyle aynı olduğunu doğrulayın.

Örnek 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Örnek 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Örnek 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Otomatik çözümleri kullanma

Alternatif olarak da tarayıcının IP adresini, Google tarayıcılarının ve getirme araçlarının IP aralıkları listeleriyle eşleştirerek Googlebot'u IP adresine göre tanımlayabilirsiniz:

Sitenizin erişilebildiği diğer Google IP adresleri için (örneğin, Apps Komut Dosyaları) erişim IP adresini genel Google IP adres listesi ile eşleştirin. JSON dosyalarındaki IP adreslerinin CIDR biçiminde gösterildiğini unutmayın.