Google tarayıcılarına ve getirme araçlarına genel bakış (kullanıcı aracıları)

Google, otomatik olarak veya kullanıcı isteği üzerine tetiklenen ürünleriyle ilgili işlemler gerçekleştirmek için tarayıcıları ve getirme araçlarını kullanır. Bazen "robot" veya "örümcek" olarak da anılan "tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik olarak keşfedip taramak için kullanılan tüm programlara verilen genel isimdir. Alıcılar, genellikle kullanıcı adına tek bir istekte bulunan wget benzeri bir program gibi çalışır. Google tarayıcıları üç kategoriye ayrılır:

Yaygın kullanılan tarayıcılar Google ürünleri için kullanılan genel tarayıcılar (Googlebot gibi). Otomatik taramalar için robots.txt kurallarına her zaman uyarlar.
Özel durum tarayıcıları Özel tarayıcılar, genel tarayıcılara benzese de taranan site ile Google ürünü arasında tarama süreci hakkında bir anlaşmanın olduğu belirli ürünler tarafından kullanılır. Örneğin AdsBot, reklam yayıncısının izniyle genel robots.txt kullanıcı aracısını (*) yoksayar.
Kullanıcı tarafından tetiklenen getirme araçları Kullanıcının tetiklediği alıcılar, alma işleminin son kullanıcı tarafından tetiklendiği araç ve ürün işlevlerinin bir parçasıdır. Örneğin, Google Site Doğrulayıcı bir kullanıcının isteği üzerine işlem yapar.

Google tarayıcılarının ve alıcılarının teknik özellikleri

Google tarayıcıları ve alıcıları, daha yüksek performans sağlaması ve web'in büyümesiyle birlikte çalışma kapasitesini geliştirebilmesi için binlerce makine üzerinden eş zamanlı olarak çalışacak şekilde tasarlanmıştır. Bu istemciler, bant genişliği kullanımını optimize etmek için erişebilecekleri sitelerin yakınında olacak şekilde dünyadaki birçok veri merkezine dağıtılır. Dolayısıyla, günlüklerinizde birkaç IP adresinden ziyaretler görebilirsiniz. Google, çıkışı esas olarak ABD'deki IP adreslerinden yapar. Google, bir sitenin ABD'den gelen istekleri engellediğini algılarsa başka ülkelerde bulunan IP adreslerinden tarama yapmayı deneyebilir.

Google tarayıcıları ve alıcıları, HTTP/1.1 ve site tarafından destekleniyorsa HTTP/2 kullanır. HTTP/2 üzerinden tarama yapıldığında siteniz ve Googlebot için bilgi işlem kaynaklarında (örneğin, CPU, RAM) tasarruf sağlanabilir ancak site için ürüne özgü bir avantaj yoktur (örneğin, Google Arama'da sıralama artışı olmaz). HTTP/2 üzerinden tarama yapmayı devre dışı bırakmak için Google, sitenizi HTTP/2 üzerinden taramaya çalıştığında sitenizi barındıran sunucudan 421 HTTP durum koduyla yanıt vermesini isteyin. Bu mümkün değilse Tarama ekibine bir mesaj gönderebilirsiniz (ancak bu çözüm geçicidir).

Google tarayıcıları ve alıcıları şu içerik kodlamalarını (sıkıştırmalar) destekler: gzip, deflate ve Brotli (br). Her Google kullanıcı aracısı tarafından desteklenen içerik kodlamaları, gönderdikleri her isteğin Accept-Encoding başlığında belirtilir. Örneğin, Accept-Encoding: gzip, deflate, br.

Amacımız, sunucunuzda aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Siteniz Google’ın tarama isteklerini yerine getirme konusunda sorun yaşıyorsa tarama hızını azaltabilirsiniz. Google tarayıcılarına uygunsuz HTTP yanıt kodu göndermenin, sitenizin Google ürünlerinde görünme şeklini etkileyebileceğini unutmayın.

Google tarayıcılarını ve alıcılarını doğrulama

Google tarayıcıları kendilerini üç şekilde tanımlar:

  1. HTTP user-agent istek başlığı.
  2. İsteğin kaynak IP adresi.
  3. Kaynak IP'sinin ters DNS ana makine adı.

Google tarayıcılarını ve alıcılarını doğrulamak için bu ayrıntıları nasıl kullanacağınızı öğrenin.