Google tarayıcılarına genel bakış (kullanıcı aracıları)

Bazen "robot" veya "örümcek" olarak da anılan "tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik olarak keşfedip taramak için kullanılan tüm programlara verilen genel isimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda hem yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler hem de bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP kurallarında nasıl belirtileceği listelenmektedir.

Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:

• Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
• Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup HTTP isteğinde ve web günlüklerinizde görünür.

Tarayıcılar
APIs-Google	Kullanıcı aracısı jetonu APIs-Google Tam kullanıcı aracısı dizesi APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdsBot Mobil Web Android	Android web sayfası reklam kalitesini kontrol eder. Kullanıcı aracısı jetonu AdsBot-Google-Mobile Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobil Web	iPhone web sayfası reklam kalitesini kontrol eder. Kullanıcı aracısı jetonu AdsBot-Google-Mobile Tam kullanıcı aracısı dizesi Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot	Masaüstü web sayfası reklam kalitesini kontrol eder. Kullanıcı aracısı jetonu AdsBot-Google Tam kullanıcı aracısı dizesi AdsBot-Google (+http://www.google.com/adsbot.html)
AdSense	Kullanıcı aracısı jetonu Mediapartners-Google Tam kullanıcı aracısı dizesi Mediapartners-Google
Googlebot Görsel	Kullanıcı aracısı jetonları Googlebot-Image Googlebot Tam kullanıcı aracısı dizesi Googlebot-Image/1.0
Googlebot Haberler	Kullanıcı aracısı jetonları Googlebot-News Googlebot Tam kullanıcı aracısı dizesi Googlebot-News kullanıcı aracısı, çeşitli Googlebot kullanıcı aracısı dizelerini kullanır.
Google Yayıncı Merkezi	Google Haberler açılış sayfalarında kullanılmak üzere Yayıncıların Google Yayıncı Merkezi aracılığıyla açıkça sağladığı feed'leri getirerek işler. Kullanıcı aracısı jetonu GoogleProducer Tam kullanıcı aracısı dizesi GoogleProducer; (+http://goo.gl/7y4SX)
Googlebot Video	Kullanıcı aracısı jetonları Googlebot-Video Googlebot Tam kullanıcı aracısı dizesi Googlebot-Video/1.0
Googlebot Masaüstü	Kullanıcı aracısı jetonu Googlebot Tam kullanıcı aracısı dizeleri Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot Akıllı Telefon	Kullanıcı aracısı jetonu Googlebot Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobil AdSense	Kullanıcı aracısı jetonu Mediapartners-Google Tam kullanıcı aracısı dizesi (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobil Uygulamalar Android	Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robots.txt kurallarına uyar. Kullanıcı aracısı jetonu AdsBot-Google-Mobile-Apps Tam kullanıcı aracısı dizesi AdsBot-Google-Mobile-Apps
Feedfetcher	Kullanıcı aracısı jetonu FeedFetcher-Google Tam kullanıcı aracısı dizesi FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Read Aloud	Kullanıcı aracısı jetonu Google-Read-Aloud Tam kullanıcı aracısı dizeleri Mevcut aracılar: Masaüstü aracısı: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) Mobil aracısı: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) Eski aracı (kullanımdan kaldırıldı): google-speakr
Google Favicon	Kullanıcı aracısı jetonu Googlebot-Image Googlebot Tam kullanıcı aracısı dizesi Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Google StoreBot	Kullanıcı aracısı jetonu Storebot-Google Tam kullanıcı aracısı dizeleri Masaüstü aracısı: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 Mobil aracısı: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
Google Site Doğrulayıcı	Kullanıcı aracısı jetonu Google-Site-Verification Tam kullanıcı aracısı dizesi Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Kullanıcı aracılarındaki Chrome/W.X.Y.Z ile ilgili bir not:

Tablodaki kullanıcı aracısı dizelerinde Chrome/W.X.Y.Z ifadesini gördüğünüz her yerde, W.X.Y.Z aslında kullanıcı aracısı tarafından kullanılan Chrome tarayıcının sürümünü temsil eden yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.

Bu sürüm numarası kalıbına sahip bir kullanıcı aracısı için günlüklerinizde arama yapıyor veya sunucunuzu filtreliyorsanız, sürüm numarasını tam olarak belirtmek yerine joker karakterler kullanın.

Robots.txt dosyasındaki kullanıcı aracıları

Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.

Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots meta etiketlerindeki kullanıcı aracıları

Bazı sayfalar, farklı tarayıcılara dair kuralları belirtmek için birden fazla robots meta etiketi kullanır. Örneğin:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Bu durumda, Google negatif kuralların toplamını kullanır ve Googlebot hem noindex hem de nofollow kurallarını izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.

Tarama hızını kontrol etme

Her Google tarayıcısı, sitelere belirli bir amaç doğrultusunda ve farklı hızlarda erişir. Google, her sitedeki en iyi tarama hızını belirlemek için algoritmalar kullanır. Bir Google tarayıcısı sitenizi çok sık tarıyorsa tarama hızını azaltabilirsiniz.

Kullanımdan kaldırılan Google tarayıcıları

Aşağıdaki Google tarayıcıları artık kullanılmamakta olup yalnızca geçmişe dönük referans olması için burada belirtilmiştir.

Kullanımdan kaldırılan Google tarayıcıları
Duplex on the web	Duplex on the web hizmetini destekliyordu. Kullanıcı aracısı jetonu DuplexWeb-Google Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Web Light	Bir kullanıcı, uygun koşullar altında aramada sayfanızı tıkladığında no-transform üstbilgisinin olup olmadığı kontrol edilirdi. Web Light kullanıcı aracısı, yalnızca gerçek ziyaretçinin açıkça yaptığı göz atma istekleri için kullanılırdı. Bu nedenle, otomatik tarama isteklerini engellemek için kullanılan robots.txt kurallarını yoksayabiliyordu. Kullanıcı aracısı jetonu googleweblight Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19