Google tarayıcılarına ve getirme araçlarına genel bakış (kullanıcı aracıları)

Google, otomatik olarak veya kullanıcı isteği üzerine tetiklenen ürünleriyle ilgili işlemler gerçekleştirmek için tarayıcıları ve getirme araçlarını kullanır.

Bazen "robot" veya "örümcek" olarak da anılan "tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik olarak keşfedip taramak için kullanılan tüm programlara verilen genel isimdir. Google'ın, Google Arama'da kullanılan ana tarayıcısına Googlebot adı verilir.

Tarayıcılar gibi getirme araçları, kullanıcı tarafından istendiğinde tek bir URL isteğinde bulunan araçlardır.

Aşağıdaki tablolarda, çeşitli ürün ve hizmetler tarafından kullanılan Google tarayıcıları ve getirme araçları, yönlendiren günlüklerinizde bunları nasıl görebileceğiniz ve bunların robots.txt dosyasında nasıl belirtileceği listelenmektedir. Listeler tam kapsamlı değildir. Yalnızca günlük dosyalarında gösterilebilecek en yaygın istekleri kapsar.

  • Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
  • Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup HTTP isteğinde ve web günlüklerinizde görünür.

Yaygın kullanılan tarayıcılar

Google'ın genel tarayıcıları; bilgi toplayarak Google'ın arama dizinlerini oluşturmak, ürüne özgü diğer taramaları gerçekleştirmek ve analiz yapmak için kullanılır. Robots.txt kurallarına her zaman uyarlar ve genellikle googlebot.json nesnesinde yayınlanan IP aralıklarından tarama yaparlar.

Yaygın Kullanılan Tarayıcılar
Kullanıcı aracısı jetonu Googlebot
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Kullanıcı aracısı jetonu Googlebot
Tam kullanıcı aracısı dizeleri
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Nadiren:
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    • Googlebot/2.1 (+http://www.google.com/bot.html)

Google Görseller ve görsel içeren ürünlerin resim URL'lerini tarama amacıyla kullanılır.

Kullanıcı aracısı jetonları
  • Googlebot-Image
  • Googlebot
Tam kullanıcı aracısı dizesi Googlebot-Image/1.0

Googlebot-News, haber makalelerini taramak için Googlebot'u kullanır, ancak geçmiş kullanıcı aracısı jetonuna (Googlebot-News) uyar.

Kullanıcı aracısı jetonları
  • Googlebot-News
  • Googlebot
Tam kullanıcı aracısı dizesi Googlebot-News kullanıcı aracısı, çeşitli Googlebot kullanıcı aracısı dizelerini kullanır.

Google Video ve video içeren ürünlerin video URL'lerini tarama amacıyla kullanılır.

Kullanıcı aracısı jetonları
  • Googlebot-Video
  • Googlebot
Tam kullanıcı aracısı dizesi Googlebot-Video/1.0

Google StoreBot; ürün ayrıntıları sayfaları, alışveriş sepeti sayfaları ve ödeme sayfaları da dahil ancak bunlarla sınırlı olmamak üzere belirli sayfa türlerini tarar.

Kullanıcı aracısı jetonu Storebot-Google
Tam kullanıcı aracısı dizeleri
  • Masaüstü aracısı:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
  • Mobil aracısı:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36

Google-InspectionTool, Search Console'daki Zengin Sonuç Testi ve URL denetimi gibi Arama testi araçları tarafından kullanılan tarayıcıdır. Kullanıcı aracısı ve kullanıcı aracısı jetonu dışında, Googlebot'u taklit eder.

Kullanıcı aracısı jetonları
  • Google-InspectionTool
  • Googlebot
Tam kullanıcı aracısı dizesi
  • Mobil
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
  • Masaüstü
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

GoogleOther, sitelerden herkese açık içerikleri getirmek için çeşitli ürün ekipleri tarafından kullanılabilecek genel tarayıcıdır. Örneğin, dahili araştırma ve geliştirme çalışmalarına yardımcı olması amacıyla tek seferlik taramalar için kullanılabilir.

Kullanıcı aracısı jetonu GoogleOther
Tam kullanıcı aracısı dizesi
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
  • GoogleOther

GoogleOther-Image, GoogleOther'ın herkese açık resim URL'lerini getirmek için optimize edilmiş sürümüdür.

Kullanıcı aracısı jetonları
  • GoogleOther-Image
  • GoogleOther
Tam kullanıcı aracısı dizesi GoogleOther-Image/1.0

GoogleOther-Video, GoogleOther'ın herkese açık video URL'lerini getirmek için optimize edilmiş sürümüdür.

Kullanıcı aracısı jetonları
  • GoogleOther-Video
  • GoogleOther
Tam kullanıcı aracısı dizesi GoogleOther-Video/1.0

Google-CloudVertexBot, Vertex AI Agent oluştururken site sahiplerinin taleplerindeki siteleri tarar.

Kullanıcı aracısı jetonları
  • Google-CloudVertexBot
  • Googlebot
Kullanıcı aracısı alt dizesi Google-CloudVertexBot

Google-Extended bağımsız bir ürün jetonudur. Web yayıncıları bu jetonu kullanarak sitelerinin Gemini Uygulamaları ve Vertex yapay zeka üretici API'lerini (bu ürünleri destekleyen gelecekteki modeller dahil) iyileştirmeye yardımcı olup olmayacağını belirleyebilirler. Google-Extended, bir sitenin Google Arama'ya dahil edilmesini veya Google Arama'daki sıralamasını etkilemez.

Kullanıcı aracısı jetonu Google-Extended
Tam kullanıcı aracısı dizesi Google-Extended'de ayrı bir HTTP isteği kullanıcı aracısı dizesi yoktur. Tarama, mevcut Google kullanıcı aracısı dizeleriyle yapılır. robots.txt kullanıcı aracısı jetonu kontrol kapasitesiyle kullanılır.

Özel durum tarayıcıları

Özel durum tarayıcıları, taranan site ile ürün arasında tarama işlemi hakkında anlaşmaya varılan belirli ürünler tarafından kullanılır. Örneğin AdsBot, reklam yayıncısının izniyle genel robots.txt kullanıcı aracısını (*) yoksayar. Özel durum tarayıcıları, robots.txt kurallarını yoksayabilir ve bu nedenle, yaygın olarak kullanılan tarayıcılardan farklı bir IP aralığında çalışır. IP aralıkları, special-crawlers.json nesnesinde yayınlanır.

Özel durum tarayıcıları

Google API'leri tarafından push bildirimi mesajları göndermek için kullanılır. Robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu APIs-Google
Tam kullanıcı aracısı dizesi APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

Mobil web sayfası reklam kalitesini kontrol eder. Robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu AdsBot-Google-Mobile
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

Masaüstü web sayfası reklam kalitesini kontrol eder. Robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu AdsBot-Google
Tam kullanıcı aracısı dizesi AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense tarayıcısı, alakalı reklamları sunmak için içeriğini belirlemek üzere sitenizi ziyaret eder. Robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu Mediapartners-Google
Tam kullanıcı aracısı dizesi Mediapartners-Google

Mobil AdSense tarayıcısı, içeriğini belirlemek için sitenizi ziyaret ederek alakalı reklamlar sunar. Robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu Mediapartners-Google
Tam kullanıcı aracısı dizesi (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Google-Safety kullanıcı aracısı, Google mülklerinde herkese açık olarak yayınlanan bağlantılar için kötü amaçlı yazılım keşfi gibi kötüye kullanıma özel taramaları yönetir. Bu kullanıcı aracısı, robots.txt kurallarını yoksayar.

Tam kullanıcı aracısı dizesi Google-Safety

Kullanıcının tetiklediği alıcı

Kullanıcının tetiklediği alıcılar, ürüne özel bir getirme işlevi gerçekleştirmek için kullanıcılar tarafından başlatılır. Örneğin, Google Site Doğrulayıcı, kullanıcının isteği üzerine çalışır veya Google Cloud'da (GCP) barındırılan bir site, sitenin kullanıcılarının harici RSS özet akışını getirmelerine olanak sağlayan bir özelliğe sahiptir. Getirme, bir kullanıcı tarafından istendiğinden bu getirme araçları genellikle robots.txt kurallarını yoksayar. Kullanıcının tetiklediği alıcıların IP aralıkları user-triggered-fetchers.json ve user-triggered-fetchers-google.json nesnelerinde yayınlanır.

Kullanıcının tetiklediği alıcı

Google Podcasts, Google Haberler ve PubSubHubbub'a ait RSS ya da Atom feed'lerini taramak için Feedfetcher kullanılır.

Kullanıcı aracısı jetonu FeedFetcher-Google
Tam kullanıcı aracısı dizesi FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Haberler açılış sayfalarında kullanılmak üzere Yayıncıların Google Yayıncı Merkezi aracılığıyla açıkça sağladığı feed'leri getirerek işler.

Tam kullanıcı aracısı dizesi GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers#googleproducer)

Google Read Aloud, kullanıcı isteği üzerine metin okuma (TTS) işlevini kullanarak web sayfalarını getirir ve okur.

Tam kullanıcı aracısı dizeleri

Mevcut aracılar:

  • Masaüstü aracısı:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Mobil aracısı:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

Eski aracı (kullanımdan kaldırıldı):

google-speakr

Google Site Doğrulayıcı, kullanıcı isteği üzerine Search Console doğrulama jetonlarını getirir.

Tam kullanıcı aracısı dizesi Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Kullanıcı aracılarındaki Chrome/W.X.Y.Z ile ilgili bir not:

Tablodaki kullanıcı aracısı dizelerinde Chrome/W.X.Y.Z ifadesini gördüğünüz her yerde, W.X.Y.Z aslında kullanıcı aracısı tarafından kullanılan Chrome tarayıcının sürümünü temsil eden yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.

Bu sürüm numarası kalıbına sahip bir kullanıcı aracısı için günlüklerinizde arama yapıyor veya sunucunuzu filtreliyorsanız, sürüm numarasını tam olarak belirtmek yerine joker karakterler kullanın.

Robots.txt dosyasındaki kullanıcı aracıları

Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.

Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Tarama hızını kontrol etme

Her Google tarayıcısı, sitelere belirli bir amaç doğrultusunda ve farklı hızlarda erişir. Google, her sitedeki en iyi tarama hızını belirlemek için algoritmalar kullanır. Bir Google tarayıcısı sitenizi çok sık tarıyorsa tarama hızını azaltabilirsiniz.

Kullanımdan kaldırılan Google tarayıcıları

Aşağıdaki Google tarayıcıları artık kullanılmamakta olup yalnızca geçmişe dönük referans olması için burada belirtilmiştir.

Kullanımdan kaldırılan Google tarayıcıları

Duplex on the web

Duplex on the web hizmetini destekliyordu.

Kullanıcı aracısı jetonu DuplexWeb-Google
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

Bir kullanıcı, uygun koşullar altında aramada sayfanızı tıkladığında no-transform üstbilgisinin olup olmadığı kontrol edilirdi. Web Light kullanıcı aracısı, yalnızca gerçek ziyaretçinin açıkça yaptığı göz atma istekleri için kullanılırdı. Bu nedenle, otomatik tarama isteklerini engellemek için kullanılan robots.txt kurallarını yoksayabiliyordu.

Kullanıcı aracısı jetonu googleweblight
Tam kullanıcı aracısı dizesi Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

iPhone web sayfası reklam kalitesini kontrol eder. Robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu AdsBot-Google-Mobile
Tam kullanıcı aracısı dizesi Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robots.txt kurallarına uyar, ancak robots.txt dosyasındaki genel kullanıcı aracısını (*) yoksayar.

Kullanıcı aracısı jetonu AdsBot-Google-Mobile-Apps
Tam kullanıcı aracısı dizesi AdsBot-Google-Mobile-Apps
Kullanıcı aracısı jetonları
  • Googlebot-Image
  • Googlebot
Tam kullanıcı aracısı dizesi Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon