Google tarayıcılarına genel bakış (kullanıcı aracıları)
"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfedip taramak amacıyla yararlanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir.
Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda hem yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler hem de bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtileceği listelenmektedir.
Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:
Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup hem istekte hem de web günlüklerinizde görünür.
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot
Kullanıcı aracısı jetonu
Storebot-Google
Tam kullanıcı aracısı dizeleri
Masaüstü aracısı:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
Mobil aracısı:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
Robots.txt dosyasındaki kullanıcı aracıları
Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.
Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:
Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:
