Google 크롤러(사용자 에이전트) 개요

'크롤러'('로봇' 또는 '스파이더'라고도 함)는 한 웹페이지에서 다른 웹페이지로 연결되는 링크를 따라가며 웹사이트를 자동으로 검색하는 데 사용되는 프로그램을 가리키는 일반적인 용어입니다. Google의 기본 크롤러를 Googlebot이라고 합니다. 다음 표를 참고하여 리퍼러 로그에서 볼 수 있는 일반적인 Google 크롤러와 이러한 크롤러를 robots.txt, 로봇 메타 태그, X-Robots-Tag HTTP 명령어에서 지정하는 방법을 알아보세요.

다음 표에 다양한 Google 제품 및 서비스에서 사용되는 크롤러가 나와 있습니다.

사용자 에이전트 토큰은 사이트의 크롤링 규칙을 작성할 때 크롤러 유형과 일치시키기 위해 robots.txt의 User-agent: 줄에 사용됩니다. 표에서 볼 수 있는 것처럼 일부 크롤러에는 토큰이 두 개 이상 있습니다. 규칙을 적용하려면 크롤러 토큰 하나만 일치시켜야 합니다. 이 목록은 완전하지는 않지만 웹사이트에서 볼 수 있는 대부분의 크롤러를 다룹니다.
전체 사용자 에이전트 문자열은 크롤러에 관한 상세한 설명이며 요청과 웹 로그에 표시됩니다.
주의: 사용자 에이전트 문자열은 스푸핑될 수 있습니다. 방문자가 Google 크롤러인지 확인하는 방법 알아보기

크롤러

APIs-Google

사용자 에이전트 토큰	`APIs-Google`
전체 사용자 에이전트 문자열	`APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)`

사용자 에이전트 토큰	`Mediapartners-Google`
전체 사용자 에이전트 문자열	`Mediapartners-Google`

AdsBot 모바일 웹 Android

Android 웹페이지 광고 품질 확인.

사용자 에이전트 토큰	`AdsBot-Google-Mobile`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)`

AdsBot 모바일 웹

iPhone 웹페이지 광고 품질 확인.

사용자 에이전트 토큰	`AdsBot-Google-Mobile`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)`

AdsBot

데스크톱 웹페이지 광고 품질 확인.

사용자 에이전트 토큰	`AdsBot-Google`
전체 사용자 에이전트 문자열	`AdsBot-Google (+http://www.google.com/adsbot.html)`

Googlebot 이미지

사용자 에이전트 토큰	`Googlebot-Image` `Googlebot`
전체 사용자 에이전트 문자열	`Googlebot-Image/1.0`

Googlebot 뉴스

사용자 에이전트 토큰	`Googlebot-News` `Googlebot`
전체 사용자 에이전트 문자열	`Googlebot-News` 사용자 에이전트 문자열은 2011년에 지원 중단되었습니다.

Googlebot 동영상

사용자 에이전트 토큰	`Googlebot-Video` `Googlebot`
전체 사용자 에이전트 문자열	`Googlebot-Video/1.0`

Googlebot 데스크톱

사용자 에이전트 토큰	`Googlebot`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)` `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36` `Googlebot/2.1 (+http://www.google.com/bot.html)`

Googlebot 스마트폰

사용자 에이전트 토큰	`Googlebot`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)`

사용자 에이전트 토큰	`Mediapartners-Google`
전체 사용자 에이전트 문자열	`(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)`

모바일 앱 Android

Android 앱 페이지 광고 품질 확인. AdsBot-Google 로봇 규칙 준수.

사용자 에이전트 토큰	`AdsBot-Google-Mobile-Apps`
전체 사용자 에이전트 문자열	`AdsBot-Google-Mobile-Apps`

Feedfetcher

사용자 에이전트 토큰	`FeedFetcher-Google`
전체 사용자 에이전트 문자열	`FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)`

Google Read Aloud

사용자 에이전트 토큰 Google-Read-Aloud

전체 사용자 에이전트 문자열

현재 에이전트:

데스크톱 에이전트:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
모바일 에이전트:
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

이전 에이전트(지원 중단됨):

google-speakr

Duplex on the web

사용자 에이전트 토큰	`DuplexWeb-Google`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36`

Google 파비콘

사용자 에이전트 토큰	`Googlebot-Image` `Googlebot`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon`

Web Light

사용자 에이전트 토큰	`googleweblight`
전체 사용자 에이전트 문자열	`Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19`

Google StoreBot

사용자 에이전트 토큰	`Storebot-Google`
전체 사용자 에이전트 문자열	데스크톱 에이전트: `Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36` 모바일 에이전트: `Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36`

robots.txt의 사용자 에이전트

robots.txt 파일에서 여러 개의 사용자 에이전트가 인식되는 경우 Google에서는 가장 구체적인 사용자 에이전트를 추적합니다. Google 전체에서 내 페이지를 크롤링할 수 있게 하려면 robots.txt 파일을 사용할 필요가 없습니다. 모든 Google 크롤러가 내 콘텐츠 일부에 액세스하는 것을 차단 또는 허용하려면 Googlebot을 사용자 에이전트로 지정하면 됩니다. 예를 들어 내 모든 페이지가 Google 검색에 표시되고 애드센스 광고가 내 페이지에 표시되도록 하려면 robots.txt 파일을 사용할 필요가 없습니다. 마찬가지로 내 페이지 일부가 Google에서 아예 표시되지 않도록 하려는 경우 Googlebot 사용자 에이전트를 차단하면 Google의 다른 사용자 에이전트도 모두 차단됩니다.

그러나 좀 더 구체적으로 지정하면 더욱 세밀하게 제어할 수 있습니다. 예를 들어 모든 페이지가 Google 검색에 표시되기를 원하지만 개인 디렉터리에 있는 이미지는 크롤링되지 않기를 원할 수 있습니다. 이 경우 다음과 같이 robots.txt를 사용해 Googlebot-Image 사용자 에이전트가 개인 디렉터리에 있는 파일을 크롤링하는 것을 차단하면 됩니다(Googlebot은 모든 파일을 크롤링할 수 있음).

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

또는 모든 페이지에 광고가 표시되도록 하고 싶지만 이러한 페이지가 Google 검색에는 나타나지 않도록 하고 싶을 수 있습니다. 이 경우 다음과 같이 Googlebot은 차단하고 Mediapartners-Google 사용자 에이전트는 허용하면 됩니다.

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots 메타 태그의 사용자 에이전트

일부 페이지는 다음과 같이 여러 개의 robots 메타 태그를 사용하여 각기 다른 크롤러에 관해 명령어를 지정합니다.

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

이 경우 Google에서는 부정 명령어의 합계를 사용하고 Googlebot은 noindex 및 nofollow 명령어를 모두 따릅니다. Google의 사이트 크롤링 및 색인 생성 방법 제어에 관해 자세히 알아보기

크롤링 속도 제어

각 Google 크롤러는 특정 목적에 따라 다양한 속도로 사이트에 액세스합니다. Google에서는 알고리즘을 사용하여 각 사이트에 가장 적합한 크롤링 속도를 결정합니다. Google 크롤러가 사이트를 너무 자주 크롤링한다면 크롤링 속도를 줄일 수 있습니다.