Przegląd robotów i modułów pobierania Google (klientów użytkownika)

Google korzysta z robotów i modułów pobierania, aby wykonywać działania w swoich usługach, automatycznie lub na żądanie użytkownika.

„Robot” to ogólne określenie dowolnego programu służącego do automatycznego odnajdywania i skanowania witryn przez podążanie za linkami od strony do strony. Główny robot używany w wyszukiwarce Google nazywa się Googlebot.

Moduły pobierania, takie jak przeglądarka, to narzędzia, które w odpowiedzi na żądanie użytkownika proszą o wyświetlenie pojedynczego adresu URL.

Poniższe tabele zawierają informacje na temat robotów i modułów pobierania Google, które możesz zobaczyć w dziennikach strony odsyłającej, oraz sposobu ich określania w pliku robots.txt. Roboty i moduły pobierania są używane przez różne usługi Google. Listy nie są wyczerpujące. Dotyczą one tylko najczęstszych zgłaszających, którzy mogą być widoczni w plikach dziennika.

  • Token klienta użytkownika jest używany w wierszu User-agent: w pliku robots.txt i reprezentuje typ robota podczas pisania reguł indeksowania Twojej witryny. Jak pokazujemy w tabeli, niektóre roboty odpowiadają więcej niż jednemu tokenowi. Wystarczy, że użyjesz tylko jednego pasującego tokena robota, aby reguła została zastosowana. Lista nie jest kompletna, ale obejmuje większość robotów, które możesz zobaczyć w swojej witrynie.
  • Pełny ciąg znaków klienta użytkownika to pełny opis robota widoczny w żądaniu HTTP i dziennikach witryny.

Popularne roboty

Popularne roboty Google służą do tworzenia indeksów wyszukiwarki Google, wykonywania innych operacji indeksowania określonych usług oraz przeprowadzania analiz. Zawsze przestrzegają reguł zawartych w pliku robots.txt i zwykle indeksują treści z zakresów adresów IP opublikowanych w obiekcie googlebot.json.

Popularne roboty

Googlebot indeksujący strony na smartfony

Token klienta użytkownika Googlebot
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Komputerowy Googlebot

Token klienta użytkownika Googlebot
Pełne ciągi znaków klienta użytkownika
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Rzadko:
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Image

Służy do indeksowania bajtów obrazu w Grafice Google i usługach bazujących na obrazach.

Tokeny klienta użytkownika
  • Googlebot-Image
  • Googlebot
Pełny ciąg znaków klienta użytkownika Googlebot-Image/1.0

Googlebot News

Używa Googlebota do indeksowania artykułów informacyjnych, ale liczy się z historycznym tokenem klienta użytkownika (Googlebot-News).

Tokeny klienta użytkownika
  • Googlebot-News
  • Googlebot
Pełny ciąg znaków klienta użytkownika Klient użytkownika Googlebot-News używa różnych ciągów znaków klienta użytkownika Googlebota.

Googlebot Video

Służy do indeksowania bajtów wideo w funkcjach wideo Google i usługach bazujących na filmach.

Tokeny klienta użytkownika
  • Googlebot-Video
  • Googlebot
Pełny ciąg znaków klienta użytkownika Googlebot-Video/1.0

Google StoreBot

Google StoreBot indeksuje określone typy stron, w tym m.in. strony ze szczegółami produktów, strony koszyka i strony płatności.

Token klienta użytkownika Storebot-Google
Pełne ciągi znaków klienta użytkownika
  • Klient na komputerze:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
  • Klient na urządzeniu mobilnym:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Narzędzie Google do sprawdzania

Narzędzie Google do sprawdzania to robot używany przez narzędzia do testowania wyszukiwarki, takie jak test wyników z elementami rozszerzonymi i narzędzie do sprawdzania adresów URL w Search Console. Poza klientem użytkownika i tokenem klienta użytkownika naśladuje on Googlebota.

Token klienta użytkownika
  • Google-InspectionTool
  • Googlebot
Pełny ciąg znaków klienta użytkownika
  • Witryna mobilna
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
  • Witryna komputerowa
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

Inna usługa Google

Inna usługa Google to robot ogólny używany przez różne zespoły usług w celu pobierania treści dostępnych publicznie z witryn. Może na przykład służyć do jednorazowego indeksowania treści na potrzeby badań wewnętrznych i rozwoju.

Token klienta użytkownika GoogleOther
Pełny ciąg znaków klienta użytkownika GoogleOther

Google-Extended

Google-Extended to samodzielny token usługi, za pomocą którego wydawcy internetowi mogą określać, czy ich witryny pomagają ulepszać aplikacje Gemini i generatywne interfejsy Vertex AI, w tym przyszłe generacje modeli, które będą obsługiwać te usługi. Google-Extended nie ma wpływu na uwzględnienie witryny w wyszukiwarce Google ani na jej pozycję w rankingu.

Token klienta użytkownika Google-Extended
Pełny ciąg znaków klienta użytkownika Google-Extended nie ma osobnego ciągu znaków klienta użytkownika w żądaniu HTTP. Indeksowanie odbywa się z użyciem dotychczasowych ciągów znaków klientów użytkownika Google. Token klienta użytkownika robots.txt jest używany do celów kontrolnych.

Roboty specjalne

Roboty specjalne są używane w konkretnych usługach, w przypadku których występuje zgodność indeksowanej witryny i usługi co do procesu indeksowania. Na przykład AdsBot ignoruje globalnego klienta użytkownika w pliku robots.txt (*) za zgodą wydawcy reklamy. Roboty specjalne mogą ignorować reguły zawarte w pliku robots.txt, dlatego działają w innym zakresie adresów IP niż typowe roboty. Zakresy adresów IP są publikowane w obiekcie special-crawlers.json.

Roboty specjalne

APIs-Google

Używane przez interfejsy API Google do dostarczania komunikatów z powiadomień push. Ignorują globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika APIs-Google
Pełny ciąg znaków klienta użytkownika APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

Sprawdza jakość reklam na stronie internetowej na urządzeniu z Androidem. Ignoruje globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika AdsBot-Google-Mobile
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

Sprawdza jakość reklam na stronie internetowej na iPhonie. Ignoruje globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika AdsBot-Google-Mobile
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Sprawdza jakość reklam na stronie internetowej na komputerze. Ignoruje globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika AdsBot-Google
Pełny ciąg znaków klienta użytkownika AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

Robot indeksujący AdSense analizuje witrynę, aby określić jej zawartość, co jest potrzebne do wyświetlania odpowiednich reklam. Ignoruje globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika Mediapartners-Google
Pełny ciąg znaków klienta użytkownika Mediapartners-Google

Mobile AdSense

Robot indeksujący Mobile AdSense analizuje witrynę, aby określić jej zawartość, co jest potrzebne do wyświetlania odpowiednich reklam. Ignoruje globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika Mediapartners-Google
Pełny ciąg znaków klienta użytkownika (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Google-Safety

Klient użytkownika Google-Safety obsługuje indeksowanie związane z nadużyciami, np. wykrywanie złośliwego oprogramowania pod kątem publicznie opublikowanych linków w usługach Google. Ten klient użytkownika ignoruje reguły w pliku robots.txt.

Pełny ciąg znaków klienta użytkownika Google-Safety

Moduły pobierania uruchamiane przez użytkownika

Moduły pobierania są uruchamiane przez użytkownika, aby wykonywać funkcje związane z konkretną usługą. Na przykład robot Google do weryfikacji witryn działa na żądanie użytkownika. Żądanie pobierania pochodzi od użytkownika, dlatego moduły te ignorują zwykle reguły zawarte w pliku robots.txt. Zakresy adresów IP, z których korzystają moduły pobierania uruchamiane przez użytkownika, są publikowane w obiekcie user-triggered-fetchers.json.

Moduły pobierania uruchamiane przez użytkownika

Moduł pobierania kanałów

Moduł pobierania kanałów służy do indeksowania kanałów RSS lub Atom w Podcastach Google, Wiadomościach Google i PubSubHubbub.

Token klienta użytkownika FeedFetcher-Google
Pełny ciąg znaków klienta użytkownika FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Centrum wydawców Google

Pobiera i przetwarza kanały podane przez wydawców w Centrum wydawców Google do wykorzystania na stronach docelowych w Wiadomościach Google.

Pełny ciąg znaków klienta użytkownika GoogleProducer; (+http://goo.gl/7y4SX)

Google Read Aloud

Na żądanie użytkownika Google Read Aloud pobiera i odczytuje strony internetowe za pomocą zamiany tekstu na mowę.

Pełne ciągi znaków klienta użytkownika

Obecnie używane klienty:

  • Klient na komputerze:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Klient na urządzeniu mobilnym:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

Wcześniej używany klient (wycofany):

google-speakr

Robot Google do weryfikacji witryn

Robot Google do weryfikacji witryn pobiera na żądanie użytkowników tokeny weryfikacyjne Search Console.

Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Uwaga dotycząca Chrome/W.X.Y.Z w klientach użytkownika

W każdym miejscu w tabeli, w którym pojawia się ciąg znaków Chrome/W.X.Y.Z, W.X.Y.Z jest w rzeczywistości symbolem zastępczym reprezentującym wersję przeglądarki Chrome używaną przez tego klienta użytkownika, na przykład 41.0.2272.96. Numer wersji zwiększa się wraz ze zmianami numeru najnowszych wersji Chromium używanych przez Googlebota.

Wyszukując dane w dziennikach lub filtrując serwer pod kątem klienta użytkownika z tym wzorcem, zamiast dokładnego numeru wersji lepiej będzie użyć symboli wieloznacznych.

Klienty użytkownika w pliku robots.txt

Jeśli w pliku robots.txt zostanie rozpoznane kilka klientów użytkownika, Google użyje najmniej ogólnego z nich. Jeśli wszystkie roboty Google mają mieć dostęp do Twoich stron, plik robots.txt nie jest w ogóle potrzebny. Jeśli chcesz zablokować lub dopuścić dostęp wszystkich robotów Google do określonej zawartości, możesz to zrobić, wskazując Googlebot jako klienta użytkownika. Jeśli na przykład chcesz, aby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google i żeby pojawiały się na nich reklamy AdSense, plik robots.txt nie jest potrzebny. Jeśli chcesz całkowicie zablokować dostęp robotów Google do niektórych stron, zablokowanie klienta użytkownika Googlebot spowoduje również zablokowanie wszystkich innych klientów użytkownika Google.

Jeśli chcesz mieć większą kontrolę, możesz skorzystać z bardziej szczegółowych ustawień. Załóżmy na przykład, że chcesz, żeby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google, ale nie życzysz sobie indeksowania zdjęć znajdujących się w Twoim katalogu prywatnym. W takim przypadku skorzystaj z pliku robots.txt, aby zabronić klientowi użytkownika Googlebot-Image indeksowania plików w katalogu prywatnym, ale jednocześnie zezwolić Googlebotowi na indeksowanie wszystkich plików:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Oto inny przykład. Załóżmy, że chcesz wyświetlać reklamy na wszystkich swoich stronach, ale nie chcesz, aby te strony pojawiały się w wyszukiwarce Google. W takiej sytuacji zablokuj Googlebota, ale dopuść klienta użytkownika Mediapartners-Google:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Kontrolowanie szybkości indeksowania

Poszczególne roboty Google uzyskują dostęp do witryn w określonym celu i z różną szybkością. Google używa algorytmów, żeby dla każdej witryny określić optymalną szybkość indeksowania. Jeśli robot Google zbyt często indeksuje Twoją witrynę, możesz zmniejszyć szybkość indeksowania.

Wycofane roboty Google

Poniższe roboty Google nie są już używane. Są one wymienione tutaj tylko jako dane historyczne.

Wycofane roboty Google

Google Duplex on the web

Obsługiwał usługę Duplex on the web.

Token klienta użytkownika DuplexWeb-Google
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

Za każdym razem, gdy użytkownik kliknął Twoją stronę w wyszukiwarce przy odpowiednich warunkach, klient użytkownika Web Light sprawdzał, czy na stronie nie ma nagłówka no-transform. Klient ten był używany tylko do jednoznacznych żądań przeglądania pochodzących od użytkownika i ignorował reguły w pliku robots.txt służące do blokowania zautomatyzowanych żądań indeksowania.

Token klienta użytkownika googleweblight
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Mobile Apps Android

Sprawdza jakość reklam na stronie aplikacji na Androida. Przestrzega reguł robota AdsBot-Google, ale ignoruje globalnego klienta użytkownika (*) w pliku robots.txt.

Token klienta użytkownika AdsBot-Google-Mobile-Apps
Pełny ciąg znaków klienta użytkownika AdsBot-Google-Mobile-Apps

Google Favicon

Token klienta użytkownika
  • Googlebot-Image
  • Googlebot
Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon