User-Agent „Duplex im Web“

DuplexWeb-Google ist der User-Agent, der den Dienst „Duplex im Web“ unterstützt. Das User-Agent-Token und die vollständigen User-Agent-Strings findest du hier.

Crawling-Frequenz und -Verhalten

  • Keiner der Dienste, die den User-Agent DuplexWeb-Google verwenden, führt beim Crawlen deiner Website Käufe oder andere wichtige Aktionen aus.
  • Das Crawling durch DuplexWeb-Google erfolgt je nach zu trainierender Funktion mehrmals pro Tag bis mehrmals pro Stunde. Diese Trainingsläufe werden jedoch so ausgeführt, dass normalerweise weder deine Website überlastet noch dein Traffic gestört wird.
  • Das DuplexWeb-Google-Crawling wird von der Google Suche nicht zur Indexierung verwendet. Aus diesem Grund erkennt der User-Agent DuplexWeb-Google die noindex-Anweisung nicht.
  • In Google Analytics werden keine Seitenanfragen aufgezeichnet, die von DuplexWeb-Google während des Crawlings und der Analyse gestellt wurden.

Crawling durch robots.txt-Regeln steuern

Wenn du verhindern möchtest, dass deine Website gecrawlt wird, musst du DuplexWeb-Google explizit mit Disallow in der robots.txt-Datei blockieren. Das Deaktivieren des Crawlings (Trainings) über die Property-Einstellung der Search Console reicht nicht aus.

Der User-Agent DuplexWeb-Google befolgt normalerweise die Regeln in der robots.txt mit den folgenden wichtigen Ausnahmen:

  • Wenn „Duplex im Web“ über die Search Console aktiviert wird (Standardeinstellung), ignoriert der User-Agent DuplexWeb-Google die Disallow-Regeln in den *-User-Agent-Platzhaltergruppen.
  • Wenn „Duplex im Web“ über die Search Console deaktiviert wird, beachtet der User-Agent DuplexWeb-Google die Disallow-Regeln in den *-User-Agent-Platzhaltergruppen. Beispiele: 
# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including DuplexWeb-Google.
User-agent: *
Disallow: /