“网页上的 Duplex”用户代理

DuplexWeb-Google 是支持“网页上的 Duplex”服务的用户代理。 您可以在此处查看用户代理令牌和完整的用户代理字符串。

抓取频率和行为

• 任何使用 DuplexWeb-Google 用户代理的服务都不会在抓取您的网站时执行购买或其他任何重要操作。
• DuplexWeb-Google 用户代理的抓取频率从每天几次到每小时几次不等，具体取决于当时训练的功能，但系统会专门计算此类任务，避免网站负载过重或者网站流量受到干扰。
• Google 搜索不会将 DuplexWeb-Google 用户代理抓取的结果编入索引。由于此类抓取结果不会编入索引，因此 DuplexWeb-Google 用户代理无法识别 noindex 指令。
• Google Analytics（分析）不会记录 DuplexWeb-Google 用户代理在抓取和分析期间发出的网页请求。

使用 robots.txt 规则控制抓取

若要阻止 DuplexWeb-Google 用户代理抓取您的网站，您必须使用 robots.txt Disallow 规则明确屏蔽该用户代理。仅在 Search Console 资源设置中停用抓取（训练）功能是不够的。

DuplexWeb-Google 用户代理通常遵循 robots.txt 规则，但存在以下值得注意的例外情况：

• 在 Search Console 中启用“网页上的 Duplex”（默认启用）时，DuplexWeb-Google 用户代理会忽略 * 通配符用户代理群组中的 Disallow 规则。
• 在 Search Console 中停用“网页上的 Duplex”时，DuplexWeb-Google 用户代理遵循 * 通配符用户代理群组中的 Disallow 规则。 示例：

# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including DuplexWeb-Google.
User-agent: *
Disallow: /