컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

Google 크롤러(사용자 에이전트) 개요

'크롤러'('로봇' 또는 '스파이더'라고도 함)는 한 웹페이지에서 다른 웹페이지로 연결되는 링크를 따라가며 웹사이트를 자동으로 검색하는 데 사용되는 프로그램을 가리키는 일반적인 용어입니다. Google의 기본 크롤러를 Googlebot이라고 합니다. 다음 표를 참고하여 리퍼러 로그에서 볼 수 있는 일반적인 Google 크롤러와 이러한 크롤러를 robots.txt, 로봇 메타 태그, X-Robots-Tag HTTP 명령어에서 지정하는 방법을 알아보세요.

다음 표에 다양한 Google 제품 및 서비스에서 사용되는 크롤러가 나와 있습니다.

  • 사용자 에이전트 토큰은 사이트의 크롤링 규칙을 작성할 때 크롤러 유형과 일치시키기 위해 robots.txt의 User-agent: 줄에 사용됩니다. 표에서 볼 수 있는 것처럼 일부 크롤러에는 토큰이 두 개 이상 있습니다. 규칙을 적용하려면 크롤러 토큰 하나만 일치시켜야 합니다. 이 목록은 완전하지는 않지만 웹사이트에서 볼 수 있는 대부분의 크롤러를 다룹니다.
  • 전체 사용자 에이전트 문자열은 크롤러에 관한 상세한 설명이며 요청과 웹 로그에 표시됩니다.

크롤러

APIs-Google
사용자 에이전트 토큰 APIs-Google
전체 사용자 에이전트 문자열 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

애드센스
사용자 에이전트 토큰 Mediapartners-Google
전체 사용자 에이전트 문자열 Mediapartners-Google

AdsBot 모바일 웹 Android

Android 웹페이지 광고 품질 확인.

사용자 에이전트 토큰 AdsBot-Google-Mobile
전체 사용자 에이전트 문자열 Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot 모바일 웹

iPhone 웹페이지 광고 품질 확인.

사용자 에이전트 토큰 AdsBot-Google-Mobile
전체 사용자 에이전트 문자열 Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

데스크톱 웹페이지 광고 품질 확인.

사용자 에이전트 토큰 AdsBot-Google
전체 사용자 에이전트 문자열 AdsBot-Google (+http://www.google.com/adsbot.html)

Googlebot 이미지
사용자 에이전트 토큰
  • Googlebot-Image
  • Googlebot
전체 사용자 에이전트 문자열 Googlebot-Image/1.0

Googlebot 뉴스
사용자 에이전트 토큰
  • Googlebot-News
  • Googlebot
전체 사용자 에이전트 문자열 Googlebot-News 사용자 에이전트 문자열은 2011년에 지원 중단되었습니다.

Googlebot 동영상
사용자 에이전트 토큰
  • Googlebot-Video
  • Googlebot
전체 사용자 에이전트 문자열 Googlebot-Video/1.0

Googlebot 데스크톱
사용자 에이전트 토큰 Googlebot
전체 사용자 에이전트 문자열
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot 스마트폰
사용자 에이전트 토큰 Googlebot
전체 사용자 에이전트 문자열 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

모바일 애드센스
사용자 에이전트 토큰 Mediapartners-Google
전체 사용자 에이전트 문자열 (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

모바일 앱 Android

Android 앱 페이지 광고 품질 확인. AdsBot-Google 로봇 규칙 준수.

사용자 에이전트 토큰 AdsBot-Google-Mobile-Apps
전체 사용자 에이전트 문자열 AdsBot-Google-Mobile-Apps

Feedfetcher

사용자 에이전트 토큰 FeedFetcher-Google
전체 사용자 에이전트 문자열 FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

사용자 에이전트 토큰 Google-Read-Aloud
전체 사용자 에이전트 문자열

현재 에이전트:

  • 데스크톱 에이전트:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • 모바일 에이전트:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

이전 에이전트(지원 중단됨):

google-speakr

Duplex on the web
사용자 에이전트 토큰 DuplexWeb-Google
전체 사용자 에이전트 문자열 Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Google 파비콘
사용자 에이전트 토큰
  • Googlebot-Image
  • Googlebot
전체 사용자 에이전트 문자열 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Web Light
사용자 에이전트 토큰 googleweblight
전체 사용자 에이전트 문자열 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Google StoreBot
사용자 에이전트 토큰 Storebot-Google
전체 사용자 에이전트 문자열
  • 데스크톱 에이전트:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • 모바일 에이전트:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

robots.txt의 사용자 에이전트

robots.txt 파일에서 여러 개의 사용자 에이전트가 인식되는 경우 Google에서는 가장 구체적인 사용자 에이전트를 추적합니다. Google 전체에서 내 페이지를 크롤링할 수 있게 하려면 robots.txt 파일을 사용할 필요가 없습니다. 모든 Google 크롤러가 내 콘텐츠 일부에 액세스하는 것을 차단 또는 허용하려면 Googlebot을 사용자 에이전트로 지정하면 됩니다. 예를 들어 내 모든 페이지가 Google 검색에 표시되고 애드센스 광고가 내 페이지에 표시되도록 하려면 robots.txt 파일을 사용할 필요가 없습니다. 마찬가지로 내 페이지 일부가 Google에서 아예 표시되지 않도록 하려는 경우 Googlebot 사용자 에이전트를 차단하면 Google의 다른 사용자 에이전트도 모두 차단됩니다.

그러나 좀 더 구체적으로 지정하면 더욱 세밀하게 제어할 수 있습니다. 예를 들어 모든 페이지가 Google 검색에 표시되기를 원하지만 개인 디렉터리에 있는 이미지는 크롤링되지 않기를 원할 수 있습니다. 이 경우 다음과 같이 robots.txt를 사용해 Googlebot-Image 사용자 에이전트가 개인 디렉터리에 있는 파일을 크롤링하는 것을 차단하면 됩니다(Googlebot은 모든 파일을 크롤링할 수 있음). 

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

또는 모든 페이지에 광고가 표시되도록 하고 싶지만 이러한 페이지가 Google 검색에는 나타나지 않도록 하고 싶을 수 있습니다. 이 경우 다음과 같이 Googlebot은 차단하고 Mediapartners-Google 사용자 에이전트는 허용하면 됩니다. 

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots 메타 태그의 사용자 에이전트

일부 페이지는 다음과 같이 여러 개의 robots 메타 태그를 사용하여 각기 다른 크롤러에 관해 명령어를 지정합니다. 

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

이 경우 Google에서는 부정 명령어의 합계를 사용하고 Googlebot은 noindex 및 nofollow 명령어를 모두 따릅니다. Google의 사이트 크롤링 및 색인 생성 방법 제어에 관해 자세히 알아보기

크롤링 속도 제어

각 Google 크롤러는 특정 목적에 따라 다양한 속도로 사이트에 액세스합니다. Google에서는 알고리즘을 사용하여 각 사이트에 가장 적합한 크롤링 속도를 결정합니다. Google 크롤러가 사이트를 너무 자주 크롤링한다면 크롤링 속도를 줄일 수 있습니다.