„Robot” to ogólne określenie dowolnego programu służącego do automatycznego odnajdywania i skanowania witryn przez podążanie za linkami od strony do strony. Główny robot indeksujący Google nazywa się Googlebot. Ta tabela zawiera informacje na temat najpopularniejszych robotów Google, które możesz zobaczyć w dziennikach strony odsyłającej, oraz sposobu ich określania w pliku robots.txt, metatagach robots i dyrektywach HTTP X-Robots-Tag.
Tabela przedstawia roboty używane przez różne produkty i usługi w Google:
Token klienta użytkownika jest używany w wierszu User-agent: w pliku robots.txt i reprezentuje typ robota podczas pisania reguł indeksowania Twojej witryny. Jak pokazujemy w tabeli, niektóre roboty odpowiadają więcej niż jednemu tokenowi. Wystarczy, że użyjesz tylko jednego pasującego tokena robota, aby reguła została zastosowana. Lista nie jest kompletna, ale obejmuje większość robotów, które możesz zobaczyć w swojej witrynie.
Pełny ciąg znaków klienta użytkownika to pełny opis robota widoczny w żądaniu HTTP i dziennikach witryny.
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot
Token klienta użytkownika
Storebot-Google
Pełne ciągi znaków klienta użytkownika
Klient na komputerze:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
Klient na urządzeniu mobilnym:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
Klienty użytkownika w pliku robots.txt
Jeśli w pliku robots.txt zostanie rozpoznane kilka klientów użytkownika, Google użyje najmniej ogólnego z nich. Jeśli wszystkie roboty Google mają mieć dostęp do Twoich stron, plik robots.txt nie jest w ogóle potrzebny. Jeśli chcesz zablokować lub dopuścić dostęp wszystkich robotów Google do określonej zawartości, możesz to zrobić, wskazując Googlebot jako klienta użytkownika. Jeśli na przykład chcesz, aby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google i żeby pojawiały się na nich reklamy AdSense, plik robots.txt nie jest potrzebny. Jeśli chcesz całkowicie zablokować dostęp robotów Google do niektórych stron, zablokowanie klienta użytkownika Googlebot spowoduje również zablokowanie wszystkich innych klientów użytkownika Google.
Jeśli chcesz mieć większą kontrolę, możesz skorzystać z bardziej szczegółowych ustawień. Załóżmy na przykład, że chcesz, żeby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google, ale nie życzysz sobie indeksowania zdjęć znajdujących się w Twoim katalogu prywatnym. W takim przypadku skorzystaj z pliku robots.txt, aby zabronić klientowi użytkownika Googlebot-Image indeksowania plików w katalogu prywatnym, ale jednocześnie zezwolić Googlebotowi na indeksowanie wszystkich plików:
Oto inny przykład. Załóżmy, że chcesz wyświetlać reklamy na wszystkich swoich stronach, ale nie chcesz, aby te strony pojawiały się w wyszukiwarce Google. W takiej sytuacji zablokuj Googlebota, ale dopuść klienta użytkownika Mediapartners-Google:
Poszczególne roboty Google uzyskują dostęp do witryn w określonym celu i z różną szybkością. Google używa algorytmów, żeby dla każdej witryny określić optymalną szybkość indeksowania. Jeśli robot Google zbyt często indeksuje Twoją witrynę, możesz zmniejszyć szybkość indeksowania.
