Koleksiyonlar ile düzeninizi koruyun
İçeriği tercihlerinize göre kaydedin ve kategorilere ayırın.
Google tarayıcılarına genel bakış (kullanıcı aracıları)
Bazen "robot" veya "örümcek" olarak da anılan "tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek
web sitelerini otomatik olarak keşfedip taramak için kullanılan tüm programlara verilen genel
isimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda hem yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler hem de bunların robots.txt, robotsmeta etiketleri ve X-Robots-Tag HTTP kurallarında nasıl belirtileceği listelenmektedir.
Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:
Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup HTTP isteğinde ve web günlüklerinizde görünür.
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Kullanıcı aracılarındaki Chrome/W.X.Y.Z ile ilgili bir not:
Tablodaki kullanıcı aracısı dizelerinde Chrome/W.X.Y.Z ifadesini gördüğünüz her yerde, W.X.Y.Z aslında kullanıcı aracısı tarafından kullanılan Chrome tarayıcının sürümünü temsil eden yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.
Bu sürüm numarası kalıbına sahip bir kullanıcı aracısı için günlüklerinizde arama yapıyor veya sunucunuzu filtreliyorsanız, sürüm numarasını tam olarak belirtmek yerine joker karakterler kullanın.
Robots.txt dosyasındaki kullanıcı aracıları
Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.
Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:
Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:
Her Google tarayıcısı, sitelere belirli bir amaç doğrultusunda ve farklı hızlarda erişir. Google, her
sitedeki en iyi tarama hızını belirlemek için algoritmalar kullanır. Bir Google tarayıcısı
sitenizi çok sık tarıyorsa tarama
hızını azaltabilirsiniz.
Kullanımdan kaldırılan Google tarayıcıları
Aşağıdaki Google tarayıcıları artık kullanılmamakta olup yalnızca geçmişe dönük referans olması için burada belirtilmiştir.
Kullanımdan kaldırılan Google tarayıcıları
Duplex on the web
Duplex on the web hizmetini destekliyordu.
Kullanıcı aracısı jetonu
DuplexWeb-Google
Tam kullanıcı aracısı dizesi
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Web Light
Bir kullanıcı, uygun koşullar altında aramada sayfanızı tıkladığında no-transform üstbilgisinin olup olmadığı kontrol edilirdi. Web Light kullanıcı aracısı, yalnızca gerçek ziyaretçinin açıkça yaptığı göz atma istekleri için kullanılırdı. Bu nedenle, otomatik tarama isteklerini engellemek için kullanılan robots.txt kurallarını yoksayabiliyordu.
Kullanıcı aracısı jetonu
googleweblight
Tam kullanıcı aracısı dizesi
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19