Lista robotów specjalnych Google

Roboty specjalne są używane w konkretnych usługach Google, w przypadku których występuje zgodność indeksowanej witryny i usługi co do procesu indeksowania. Na przykład AdsBot ignoruje globalnego klienta użytkownika w pliku robots.txt (*) za zgodą wydawcy reklamy. Ogólne właściwości techniczne robotów Google dotyczą też robotów specjalnych.

Roboty specjalne mogą ignorować reguły zawarte w pliku robots.txt, dlatego działają w innym zakresie adresów IP niż typowe roboty. Zakresy adresów IP są publikowane w obiekcie special-crawlers.json. Odwrotne maskowanie DNS robotów specjalnych jest zgodne z rate-limited-proxy-***-***-***-***.google.com.

Poniższa lista zawiera roboty specjalne, ich ciągi znaków klienta użytkownika w żądaniach HTTP, tokeny klienta użytkownika w wierszu User-agent: w pliku robots.txt oraz usługi, na które mają wpływ preferencje indeksowania robota. Lista nie jest wyczerpująca. Obejmuje tylko zgłaszających, którzy mają większe szanse pojawiania się w plikach dziennika i których dotyczyły pytania, które do nas dotarły.

APIs-Google

Klient użytkownika w żądaniach HTTP	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	Token klienta użytkownika w pliku robots.txt APIs-Google Globalny klient użytkownika (*) jest ignorowany. Przykładowa grupa pliku robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Usługi, na które ma to wpływ	Ustawienia indeksowania kierowane do klienta użytkownika APIs-Google wpływają na dostarczanie komunikatów z powiadomieniami push przez interfejsy API Google.

AdsBot Mobile Web

Klient użytkownika w żądaniach HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	Token klienta użytkownika w pliku robots.txt AdsBot-Google-Mobile Globalny klient użytkownika (*) jest ignorowany. Przykładowa grupa pliku robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Usługi, na które ma to wpływ	Ustawienia indeksowania kierowane do klienta użytkownika AdsBot-Google-Mobile mają wpływ na możliwość sprawdzania przez Google Ads jakości reklam na stronach internetowych.

AdsBot

Klient użytkownika w żądaniach HTTP	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	Token klienta użytkownika w pliku robots.txt AdsBot-Google Globalny klient użytkownika (*) jest ignorowany. Przykładowa grupa pliku robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Usługi, na które ma to wpływ	Ustawienia indeksowania kierowane do klienta użytkownika AdsBot-Google wpływają na możliwość sprawdzania przez Google Ads jakości reklam na stronach internetowych.

AdSense

Klient użytkownika w żądaniach HTTP	Klient na komputerze Mediapartners-Google Klient na urządzeniu mobilnym (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	Token klienta użytkownika w pliku robots.txt Mediapartners-Google Globalny klient użytkownika (*) jest ignorowany. Przykładowa grupa pliku robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Usługi, na które ma to wpływ	Ustawienia indeksowania kierowane do klienta użytkownika Mediapartners-Google mają wpływ na Google AdSense. Robot indeksujący AdSense odwiedza witryny uczestniczące w programie, aby wyświetlać w nich trafne reklamy.

Google-Safety

Klient użytkownika w żądaniach HTTP	Google-Safety
robots.txt	Klient użytkownika Google-Safety ignoruje reguły w pliku robots.txt.
Usługi, na które ma to wpływ	Klient użytkownika Google-Safety obsługuje indeksowanie związane z nadużyciami, np. wykrywanie złośliwego oprogramowania pod kątem publicznie opublikowanych linków w usługach Google. W związku z tym nie jest on zależny od preferencji indeksowania.