Google tarayıcılarına genel bakış (kullanıcı aracıları)

"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfedip taramak amacıyla yararlanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda hem yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler hem de bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtileceği listelenmektedir.

Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:

  • Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
  • Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup hem istekte hem de web günlüklerinizde görünür.

Tarayıcılar

APIs-Google

Kullanıcı aracısı jetonu APIs-Google
Tam kullanıcı aracısı dizesi APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdSense

Kullanıcı aracısı jetonu Mediapartners-Google
Tam kullanıcı aracısı dizesi Mediapartners-Google

AdsBot Mobil Web Android

Android web sayfası reklam kalitesini kontrol eder.

Kullanıcı aracısı jetonu AdsBot-Google-Mobile
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobil Web

iPhone web sayfası reklam kalitesini kontrol eder.

Kullanıcı aracısı jetonu AdsBot-Google-Mobile
Tam kullanıcı aracısı dizesi Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Masaüstü web sayfası reklam kalitesini kontrol eder.

Kullanıcı aracısı jetonu AdsBot-Google
Tam kullanıcı aracısı dizesi AdsBot-Google (+http://www.google.com/adsbot.html)

Googlebot Görsel

Kullanıcı aracısı jetonları
  • Googlebot-Image
  • Googlebot
Tam kullanıcı aracısı dizesi Googlebot-Image/1.0

Googlebot Haberler

Kullanıcı aracısı jetonları
  • Googlebot-News
  • Googlebot
Tam kullanıcı aracısı dizesi Googlebot-News

Googlebot Video

Kullanıcı aracısı jetonları
  • Googlebot-Video
  • Googlebot
Tam kullanıcı aracısı dizesi Googlebot-Video/1.0

Googlebot Masaüstü

Kullanıcı aracısı jetonu Googlebot
Tam kullanıcı aracısı dizeleri
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Akıllı Telefon

Kullanıcı aracısı jetonu Googlebot
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobil AdSense

Kullanıcı aracısı jetonu Mediapartners-Google
Tam kullanıcı aracısı dizesi (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobil Uygulamalar Android

Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robots.txt kurallarına uyar.

Kullanıcı aracısı jetonu AdsBot-Google-Mobile-Apps
Tam kullanıcı aracısı dizesi AdsBot-Google-Mobile-Apps

Feedfetcher

Kullanıcı aracısı jetonu FeedFetcher-Google
Tam kullanıcı aracısı dizesi FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Kullanıcı aracısı jetonu Google-Read-Aloud
Tam kullanıcı aracısı dizeleri

Mevcut aracılar:

  • Masaüstü aracısı:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • Mobil aracısı:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

Eski aracı (kullanımdan kaldırıldı):

google-speakr

Duplex on the web

Kullanıcı aracısı jetonu DuplexWeb-Google
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Google Favicon

Kullanıcı aracısı jetonu Google Favicon
Tam kullanıcı aracısı dizesi Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Web Light

Kullanıcı aracısı jetonu googleweblight
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Google StoreBot

Kullanıcı aracısı jetonu Storebot-Google
Tam kullanıcı aracısı dizeleri
  • Masaüstü aracısı:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • Mobil aracısı:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Robots.txt dosyasındaki kullanıcı aracıları

Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.

Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Robots meta etiketlerindeki kullanıcı aracıları

Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.