Przegląd robotów Google (klientów użytkownika)

„Robot” to ogólne określenie dowolnego programu służącego do automatycznego odnajdywania i analizowania witryn przez podążanie za linkami od strony do strony. Główny robot indeksujący Google nazywa się Googlebot. Ta tabela zawiera informacje na temat najpopularniejszych robotów Google, które możesz zobaczyć w dziennikach strony odsyłającej, oraz sposobu ich określania w pliku robots.txt, metatagach robotsdyrektywach HTTP X-Robots-Tag.

Tabela przedstawia roboty używane przez różne produkty i usługi w Google:

  • Token klienta użytkownika jest używany w wierszu User-agent: w pliku robots.txt i reprezentuje typ robota podczas pisania reguł indeksowania Twojej witryny. Jak pokazujemy w tabeli, niektóre roboty odpowiadają więcej niż 1 tokenowi. Wystarczy, że użyjesz tylko 1 pasującego tokena robota, aby reguła została zastosowana. Lista nie jest kompletna, ale obejmuje większość robotów, które możesz zobaczyć w swojej witrynie.
  • Pełny ciąg znaków klienta użytkownika to pełny opis robota widoczny w żądaniu i dziennikach witryny.

Roboty

APIs-Google

Token klienta użytkownika APIs-Google
Pełny ciąg znaków klienta użytkownika APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdSense

Token klienta użytkownika Mediapartners-Google
Pełny ciąg znaków klienta użytkownika Mediapartners-Google

AdsBot Mobile Web Android

Sprawdza jakość reklam na stronie internetowej na urządzeniu z Androidem.

Token klienta użytkownika AdsBot-Google-Mobile
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

Sprawdza jakość reklam na stronie internetowej na iPhonie.

Token klienta użytkownika AdsBot-Google-Mobile
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Sprawdza jakość reklam na stronie internetowej na komputerze.

Token klienta użytkownika AdsBot-Google
Pełny ciąg znaków klienta użytkownika AdsBot-Google (+http://www.google.com/adsbot.html)

Googlebot Image

Tokeny klienta użytkownika
  • Googlebot-Image
  • Googlebot
Pełny ciąg znaków klienta użytkownika Googlebot-Image/1.0

Googlebot News

Tokeny klienta użytkownika
  • Googlebot-News
  • Googlebot
Pełny ciąg znaków klienta użytkownika Googlebot-News

Googlebot Video

Tokeny klienta użytkownika
  • Googlebot-Video
  • Googlebot
Pełny ciąg znaków klienta użytkownika Googlebot-Video/1.0

Komputerowy Googlebot

Token klienta użytkownika Googlebot
Pełne ciągi znaków klienta użytkownika
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot indeksujący strony na smartfony

Token klienta użytkownika Googlebot
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Token klienta użytkownika Mediapartners-Google
Pełny ciąg znaków klienta użytkownika (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

Sprawdza jakość reklam na stronie aplikacji na Androida. Działa zgodnie z regułami dotyczącymi robota AdsBot-Google.

Token klienta użytkownika AdsBot-Google-Mobile-Apps
Pełny ciąg znaków klienta użytkownika AdsBot-Google-Mobile-Apps

Moduł pobierania kanałów

Token klienta użytkownika FeedFetcher-Google
Pełny ciąg znaków klienta użytkownika FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Token klienta użytkownika Google-Read-Aloud
Pełne ciągi znaków klienta użytkownika

Obecnie używane klienty:

  • Klient na komputerze:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • Klient na urządzeniu mobilnym:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

Wcześniej używany klient (wycofany):

google-speakr

Google Duplex on the web

Token klienta użytkownika DuplexWeb-Google
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Google Favicon

Token klienta użytkownika Google Favicon
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Web Light

Token klienta użytkownika googleweblight
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Google StoreBot

Token klienta użytkownika Storebot-Google
Pełne ciągi znaków klienta użytkownika
  • Klient na komputerze:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • Klient na urządzeniu mobilnym:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Klienty użytkownika w pliku robots.txt

Jeśli w pliku robots.txt zostanie rozpoznane kilka klientów użytkownika, Google użyje najmniej ogólnego z nich. Jeśli wszystkie roboty Google mają mieć dostęp do Twoich stron, plik robots.txt nie jest w ogóle potrzebny. Jeśli chcesz zablokować lub dopuścić dostęp wszystkich robotów Google do określonej zawartości, możesz to zrobić, wskazując Googlebot jako klienta użytkownika. Jeśli na przykład chcesz, aby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google i żeby pojawiały się na nich reklamy AdSense, plik robots.txt nie jest potrzebny. Jeśli chcesz całkowicie zablokować dostęp robotów Google do niektórych stron, zablokowanie klienta użytkownika Googlebot spowoduje również zablokowanie wszystkich innych klientów użytkownika Google.

Jeśli chcesz mieć większą kontrolę, możesz skorzystać z bardziej szczegółowych ustawień. Załóżmy na przykład, że chcesz, żeby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google, ale nie życzysz sobie indeksowania zdjęć znajdujących się w Twoim katalogu prywatnym. W takim przypadku skorzystaj z pliku robots.txt, aby zabronić klientowi użytkownika Googlebot-Image indeksowania plików w katalogu prywatnym, jednocześnie zezwalając Googlebotowi na indeksowanie wszystkich plików:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Oto inny przykład. Załóżmy, że chcesz wyświetlać reklamy na wszystkich swoich stronach, ale nie chcesz, aby te strony pojawiały się w wyszukiwarce Google. W takiej sytuacji zablokuj Googlebota, ale dopuść klienta użytkownika Mediapartners-Google:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Klienty użytkownika w metatagu robots

Na niektórych stronach używanych jest wiele metatagów robots, które określają dyrektywy dla różnych robotów. Na przykład:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

W takich przypadkach roboty Google będą przestrzegać wszystkich podanych dyrektyw wykluczających, a Googlebot będzie przestrzegać zarówno dyrektywy noindex, jak i nofollow. Więcej informacji o tym, jak kontrolować sposób indeksowania stron przez Google