Duplex on the web 사용자 에이전트

DuplexWeb-Google은 Duplex on the web 서비스를 지원하는 사용자 에이전트입니다. 사용자 에이전트 토큰과 전체 사용자 에이전트 문자열은 여기에서 확인할 수 있습니다.

크롤링 빈도 및 동작

• DuplexWeb-Google 사용자 에이전트를 사용하는 서비스는 사이트를 크롤링할 때 구매 또는 기타 중요한 작업을 실행하지 않습니다.
• DuplexWeb-Google 사용자 에이전트 크롤링은 학습 중인 기능에 따라 하루 수차례에서 시간당 수차례까지 발생하지만, 사이트에서 과부하가 발생하거나 트래픽에 지장을 주지 않도록 크롤링 실행 빈도가 계산됩니다.
• Google 검색에서는 색인 생성에 DuplexWeb-Google 사용자 에이전트 크롤링을 사용하지 않습니다. 색인 생성에 사용되지 않으므로 DuplexWeb-Google 사용자 에이전트는 noindex 명령어를 인식하지 않습니다.
• Google 애널리틱스는 크롤링 및 분석 중에 DuplexWeb-Google 사용자 에이전트에서 생성한 페이지 요청을 기록하지 않습니다.

robots.txt 규칙을 사용한 크롤링 제어

사이트 크롤링을 막으려면 Disallow robots.txt 규칙을 사용하여 DuplexWeb-Google 사용자 에이전트를 명시적으로 차단해야 합니다. Search Console 속성 설정에서 크롤링(학습)을 중지하는 것만으로는 충분하지 않습니다.

DuplexWeb-Google 사용자 에이전트는 일반적으로 robots.txt 규칙을 따르며 여기에는 다음과 같은 중대한 예외사항이 있습니다.

• Duplex on the web이 Search Console을 통해 사용 설정되면(기본값) DuplexWeb-Google 사용자 에이전트는 * 와일드 카드 사용자 에이전트 그룹의 Disallow 규칙을 무시합니다.
• Duplex on the web이 Search Console을 통해 사용 중지되면 DuplexWeb-Google 사용자 에이전트는 * 와일드 카드 사용자 에이전트 그룹의 Disallow 규칙을 따릅니다. 예:

# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including DuplexWeb-Google.
User-agent: *
Disallow: /