Weryfikowanie Googlebota

Możesz zweryfikować, czy robot indeksujący, który uzyskuje dostęp do Twojego serwera, to na pewno Googlebot (lub inny klient użytkownika Google). Procedura ta jest przydatna, gdy obawiasz się, że z Twojej witryny mogą korzystać spamerzy lub inni oszuści podający się za Googlebota. Google nie udostępnia publicznej listy adresów IP, które właściciele witryn mogliby dodać do swoich białych list. Bierze się to stąd, że zakresy adresów IP mogą się zmienić, powodując problemy u wszystkich właścicieli witryn, którzy zdecydowali się zakodować je na stałe. W rezultacie musisz uruchomić wyszukiwanie DNS zgodnie z poniższą procedurą.

Sprawdzanie, czy Googlebot jest robotem

Używanie narzędzi wiersza poleceń

  1. Uruchom odwrotne wyszukiwanie DNS adresu IP, który jest w Twoich dziennikach oznaczony jako nawiązujący połączenie, przy użyciu polecenia host.
  2. Sprawdź, czy nazwa domeny to googlebot.com lub google.com.
  3. Przeprowadź zwykłe wyszukiwanie DNS nazwy domeny odczytanej w kroku 1 przy użyciu polecenia host. Sprawdź, czy nazwa jest taka sama jak adres, który zgodnie z informacjami w Twoich dziennikach nawiązywał połączenie.

Przykład 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Przykład 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Korzystanie z rozwiązań automatycznych

Google nie udostępnia bibliotek oprogramowania umożliwiających identyfikację naszych robotów. Do zweryfikowania Googlebota możesz użyć biblioteki open source.