Donnerstag, 19. November 2009
Immer wieder fragen Webmaster nach, wie sie überprüfen können, ob ein Bot nicht unter falscher Flagge auftritt. Wie soll man auch wissen, ob ein Spammer seinen Bot "Googlebot" nennt und dann so tut, als wäre er Google? Welchen Bots kann man also vertrauen und welche kann man ruhigen Gewissens blockieren?
Wir werden regelmäßig darum gebeten, eine Liste von den IP-Adressen zu veröffentlichen, die der Googlebot benutzt. Das Problem daran: sollten wir die IPs unserer Crawler ändern, werden das viele verpassen. Vor einigen Jahren hat das Crawl-Team die IP-Adressen für den Googlebot tatsächlich geändert und es war ein großer Aufwand Webmaster, die nur für den alten IP-Bereich konfiguriert hatten, auf die Änderung aufmerksam zu machen. Deshalb hat das Crawl-Team eine andere Möglichkeit gefunden, um den Googlebot zu authentifizieren. Hier findet ihr ein (übersetztes) Zitat vom Crawl-Team:
Diese Antwort findet sich auch in der Hilfe für Webmaster . Sie kann daher als die offizielle Methode dafür gelten, den Googlebot zu authentifizieren. Bots, die aus dem "offiziellen" Googlebot-IP-Bereich heraus crawlen, müssen außerdem die robots.txt und unsere internen Hostload-Konventionen respektieren, damit Google beim Crawlen nicht übertreibt.
How to verify Googlebot (English version)
Übersetzung von Jörg, Search Quality Team
Wir werden regelmäßig darum gebeten, eine Liste von den IP-Adressen zu veröffentlichen, die der Googlebot benutzt. Das Problem daran: sollten wir die IPs unserer Crawler ändern, werden das viele verpassen. Vor einigen Jahren hat das Crawl-Team die IP-Adressen für den Googlebot tatsächlich geändert und es war ein großer Aufwand Webmaster, die nur für den alten IP-Bereich konfiguriert hatten, auf die Änderung aufmerksam zu machen. Deshalb hat das Crawl-Team eine andere Möglichkeit gefunden, um den Googlebot zu authentifizieren. Hier findet ihr ein (übersetztes) Zitat vom Crawl-Team:
Es scheint am besten zu sein, wenn Webmaster DNS benutzen, um bestimmte Fälle zu verifizierenn. Ich würde einen umgekehrten DNS-Lookup empfehlen und sicherstellen, dass es sich um die Domain googlebot.com handelt. Daraufhin sollte man einen entsprechenden vorwärtsgerichteten DNS->IP-Lookup mit dem Namen googlebot.com vornehmen. Beispielsweise:
> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Ich glaube nicht, dass bloß ein umgekehrter DNS-Lookup genug wäre, denn ein Betrüger könnte es so einrichten, dass ein umgekehrter DNS-Lookup auf crawl-a-b-c-d.googlebot.com verweist.
Diese Antwort findet sich auch in der Hilfe für Webmaster . Sie kann daher als die offizielle Methode dafür gelten, den Googlebot zu authentifizieren. Bots, die aus dem "offiziellen" Googlebot-IP-Bereich heraus crawlen, müssen außerdem die robots.txt und unsere internen Hostload-Konventionen respektieren, damit Google beim Crawlen nicht übertreibt.
How to verify Googlebot (English version)
Übersetzung von Jörg, Search Quality Team