Anfragen mit Web Bot Auth (experimentell) authentifizieren

Google testet die Verwendung des Web Bot Auth-IETF-Internetentwurfs. Dabei handelt es sich um ein neues kryptografisches Protokoll, mit dem Websites überprüfen können, ob Bots authentisch sind. Wir testen das Protokoll mit einigen KI-Agenten, die auf der Google-Infrastruktur gehostet werden. In diesem Leitfaden wird erläutert, was Web Bot Auth ist, was der aktuelle Status ist und wie du die Bestätigung in der experimentellen Phase implementieren kannst.

Was ist Web Bot Auth?

Web Bot Auth ist ein experimentelles kryptografisches Protokoll, das zur Authentifizierung von Anfragen verwendet wird, die von Bots gesendet werden. Anstatt sich nur auf selbst gemeldete Header und IP-Adressen zu verlassen, können KI-Agenten mit Web Bot Auth ihre Anfragen kryptografisch signieren.

Mit Web Bot Auth können Websiteinhaber automatisierten Traffic auf ihren Websites erkennen und verhindern, dass andere Akteure versuchen, sich als seriöse Agenten auszugeben. Web Bot Auth kann folgende Vorteile bieten:

  • Kryptografische Sicherheit: Gehe über leicht vorzutäuschende Header hinaus und verwende eine bestätigte Identität. Trenne die KI-Agentenidentität von IP-Adressen.
  • Bessere Beobachtbarkeit: Du erhältst klarere Einblicke in die Interaktion von KI-Agenten mit deinen Inhalten.
  • Zukunftssicherheit: Trage dazu bei, ein Web zu schaffen, in dem KI-Agentenanbieter und Websites gegenseitiges Vertrauen aufbauen und fundierte Zugriffsentscheidungen treffen können.

Aktueller Status von Web Bot Auth: experimentell

Die Implementierung von Web Bot Auth durch Google ist derzeit experimentell. Das hat folgende Gründe:

  • Web Bot Auth ist derzeit ein Spezifikationsentwurf, der von der WBA Working Group der IETF entwickelt wird und sich im Laufe der Zeit ändern kann. Google ist weiterhin an der Arbeit der Working Group beteiligt.
  • Die User-Agent- und IP-basierte Bot-Bestätigung ist derzeit der De-facto-Standard. Seit Jahrzehnten werden Systeme, Richtlinien und Best Practices darauf aufgebaut. Änderungen erfordern Zeit und einen sorgfältigen Ansatz. Wir befinden uns noch in der Anfangsphase und bewerten die technischen Merkmale und potenziellen Auswirkungen des Protokolls auf das Ökosystem.

Was bedeutet das?

Der Status „Experimentell“ bedeutet Folgendes:

  • Nicht alle Google-User-Agents verwenden Web Bot Auth.
  • Google signiert noch nicht jede Anfrage von KI-Agenten, die das Protokoll verwenden.
  • Wir empfehlen, dass du zusätzlich zur Web Bot Auth weiterhin auf IP-Adressen, Reverse-DNS und User-Agent-Strings setzt, während wir nach und nach signierten Traffic einführen.

Für jene, die an der Teilnahme während der experimentellen Phase interessiert sind, stellen wir eine Anleitung dazu bereit, wie Google-KI-Agenten erkannt und auf die Zulassungsliste gesetzt werden können.

Google-KI-Agenten mit Web Bot Auth auf die Zulassungsliste setzen

Wenn du Entwickler oder Systemadministrator bist und unsere experimentellen KI-Agenten auf die Zulassungsliste setzen möchtest, kannst du die Bestätigung über das Web Bot Auth-Protokoll so implementieren:

Produkt oder Dienst verwenden, der Web Bot Auth unterstützt

Die wichtigsten Dienste zur Bot-Erkennung, CDNs und WAFs unterstützen Web Bot Auth. Einige Infrastrukturdienste bieten Möglichkeiten, den Google-Agent-User-Agent zu suchen und auf die Zulassungsliste zu setzen. Die genauen Schritte erfährst du von deinem Anbieter. Eine Teilmenge der Anfragen, die von Google-Agent gestellt werden, wird mit Web Bot Auth signiert. In diesen Fällen werden sie als https://agent.bot.goog authentifiziert. Wenn dein Anbieter das Protokoll unterstützt, wird dies wahrscheinlich automatisch überprüft.

Anfragen selbst bestätigen

Wenn du unsere Anfragen selbst authentifizieren möchtest, lies die Spezifikation für die Architektur von HTTP-Nachrichtensignaturen für automatisierten Traffic und die Beispielimplementierungen auf GitHub. Dies sind die wichtigsten Protokollschritte:

  1. Rufe den Satz öffentlicher Schlüssel unseres KI-Agenten unter https://agent.bot.goog/.well-known/http-message-signatures-directory ab und speichere ihn gemäß dem Cache-Control-Header im Cache.
  2. Bei teilnehmenden Anfragen, die an deinen Server gesendet werden, ist der HTTP-Anfrageheader Signature-Agent auf g="https://agent.bot.goog" gesetzt (beachte das Label g=).
  3. Prüfe den Signature-Header gemäß Signature-Input nach dem Standard für HTTP-Nachrichtensignaturen (RFC 9421). Verwende die Header Signature und Signature-Input, die als g gekennzeichnet sind.
  4. Vergiss nicht, auf die IP-basierte Bestätigung zurückzugreifen, da nicht alle Anfragen signiert sind.
Bestätigungsschritte für Web Bot Auth

Bei latenzsensitiven Anfragen kannst du die Antwort im Voraus zurückgeben und die Signatur innerhalb des Ablaufzeitraums validieren. In diesem Fall erfolgt die Sanktionierung nachträglich und du kannst sie auf zukünftige Anfragen des Anrufers anwenden.

Nächste Schritte