Duplex on the web 사용자 에이전트
DuplexWeb-Google
은 Duplex on the web 서비스를 지원하는 사용자 에이전트입니다.
사용자 에이전트 토큰과 전체 사용자 에이전트 문자열은 여기에서 확인할 수 있습니다.
크롤링 빈도 및 동작
-
DuplexWeb-Google
사용자 에이전트를 사용하는 서비스는 사이트를 크롤링할 때 구매 또는 기타 중요한 작업을 실행하지 않습니다. DuplexWeb-Google
사용자 에이전트 크롤링은 학습 중인 기능에 따라 하루 수차례에서 시간당 수차례까지 발생하지만, 사이트에서 과부하가 발생하거나 트래픽에 지장을 주지 않도록 크롤링 실행 빈도가 계산됩니다.-
Google 검색에서는 색인 생성에
DuplexWeb-Google
사용자 에이전트 크롤링을 사용하지 않습니다. 색인 생성에 사용되지 않으므로DuplexWeb-Google
사용자 에이전트는noindex
명령어를 인식하지 않습니다. -
Google 애널리틱스는 크롤링 및 분석 중에
DuplexWeb-Google
사용자 에이전트에서 생성한 페이지 요청을 기록하지 않습니다.
robots.txt 규칙을 사용한 크롤링 제어
사이트 크롤링을 막으려면 Disallow
robots.txt 규칙을 사용하여 DuplexWeb-Google
사용자 에이전트를 명시적으로 차단해야 합니다.
Search Console 속성 설정에서 크롤링(학습)을 중지하는 것만으로는 충분하지 않습니다.
DuplexWeb-Google
사용자 에이전트는 일반적으로 robots.txt 규칙을 따르며 여기에는 다음과 같은 중대한 예외사항이 있습니다.
-
Duplex on the web이 Search Console을 통해 사용 설정되면(기본값)
DuplexWeb-Google
사용자 에이전트는*
와일드 카드 사용자 에이전트 그룹의Disallow
규칙을 무시합니다. -
Duplex on the web이 Search Console을 통해 사용 중지되면
DuplexWeb-Google
사용자 에이전트는*
와일드 카드 사용자 에이전트 그룹의Disallow
규칙을 따릅니다. 예:
# Example 1: Block DuplexWeb-Google from crawling your site User-agent: DuplexWeb-Google Disallow: / # Example 2: # * If Duplex on the web is enabled for this property in Search Console, # block all user agents except DuplexWeb-Google. # * If Duplex on the web is disabled for this property in Search Console, # block all user agents including DuplexWeb-Google. User-agent: * Disallow: /