Aktualisieren des Googlebot-User-Agents

Mittwoch, 2. Oktober 2019

Wie wir auf der Google I/O bereits bekannt gegeben haben, verwendet der Googlebot zum Rendern von Webseiten einen Browser auf Chrome-Basis. In diesem Kontext werden wir die User-Agent-Strings vom Googlebot im Dezember 2019 passend zur neuen Browserversion aktualisieren. Außerdem werden wir die Versionsnummern regelmäßig aktualisieren, um auf Chrome-Updates im Googlebot hinzuweisen.

Hintergrundinformationen zu User-Agents-Strings und zum Rendern findet ihr unter Google-Crawler (User-Agents) und unter Für die Suche relevante JavaScript-Probleme beheben.

Googlebot-User-Agents aktuell

Mobilgerät
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Computer
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

ODER

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Safari/537.36

Immer auf dem neuesten Stand: der neue Googlebot und sein User-Agent

Ab Dezember werden wir die obigen User-Agent-Strings regelmäßig aktualisieren, um die im Googlebot verwendete Chrome-Version wiederzugeben. In den folgenden User-Agent-Strings wird W.X.Y.Z durch die von uns verwendete Chrome-Version ersetzt. So seht ihr dann statt W.X.Y.Z beispielsweise 76.0.3809.100. Diese Versionsnummer wird regelmäßig aktualisiert.

Mobilgerät
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Computer
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

ODER

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

So testet ihr eure Website

Wir haben eine Evaluierung durchgeführt und sind daher zuversichtlich, dass die meisten Websites von der Änderung nicht beeinträchtigt werden.

Websites, die unseren Empfehlungen zur Verwendung der Funktionserkennung und der progressiven Verbesserung folgen, statt das User-Agent-Sniffing zu verwenden, sollten auch künftig ohne Änderungen funktionieren.

Sucht eure Website dagegen nach einem bestimmten User-Agent, dann kann eine Beeinträchtigung auftreten. Deswegen solltet ihr anstelle des User-Agent-Sniffings die Funktionserkennung verwenden. Wenn ihr die Funktionserkennung nicht verwenden könnt und den Googlebot deswegen über den User-Agent erkennen müsst, dann sucht im User-Agent nach „Googlebot“.

Bei der Evaluierung dieser Änderung sind uns die folgenden häufigen Probleme aufgefallen:

  • Seiten, die eine Fehlermeldung anstelle des normalen Seiteninhalts anzeigen. So kann eine Seite beispielsweise annehmen, dass der Googlebot ein Nutzer mit einem Werbeblocker ist, und aus diesem Grund ungewollt einen Zugriff des Googlebots auf die Seiteninhalte unterbinden.
  • Seiten, die zu einem robots.txt- oder noindex-Dokument weiterleiten.

Wenn ihr nicht genau wisst, ob eure Website betroffen ist, könnt ihr die betreffende Webseite mithilfe des neuen Googlebot-User-Agents in eurem Browser laden. Hier wird erklärt, wie ihr euren User-Agent in Chrome überschreibt.

Bei Fragen könnt ihr euch an unser Webmaster-Hilfeforum wenden, die Webmaster-Online-Sprechstunde auf YouTube nutzen oder uns auf Twitter folgen.