컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

Googlebot

Googlebot은 Google 웹 크롤러의 일반적인 이름입니다. Googlebot은 데스크톱 사용자를 시뮬레이션하는 데스크톱 크롤러와 휴대기기 사용자를 시뮬레이션하는 모바일 크롤러, 두 가지 유형의 크롤러를 지칭하는 포괄적인 이름입니다.

Googlebot 데스크톱과 Googlebot 스마트폰 양쪽에서 웹사이트를 크롤링할 가능성이 높습니다. 요청의 사용자 에이전트 문자열을 통해 Googlebot의 하위유형을 식별할 수 있습니다. 하지만 두 크롤러 유형 모두 robots.txt의 동일한 제품 토큰(사용자 에이전트 토큰)을 준수하므로 robots.txt를 사용하여 Googlebot 스마트폰 또는 Googlebot 데스크톱을 선택적으로 타겟팅할 수는 없습니다.

Googlebot이 사이트에 액세스하는 방법

대부분의 사이트는 Googlebot에서 평균적으로 몇 초에 한 번 정도만 액세스합니다. 하지만 지연으로 인해 단기적으로 빈도가 약간 높아질 수도 있습니다.

Googlebot은 웹이 확장됨에 따라 성능과 규모를 향상하기 위해 수천 대의 컴퓨터에서 동시에 실행되도록 설계되었습니다. 또한 대역폭 사용량을 줄이기 위해 크롤링할 수 있는 사이트와 가까운 컴퓨터에서 여러 크롤러를 실행합니다. 그러므로 로그에는 모두 Googlebot 사용자 에이전트가 있는 여러 IP 주소에서 방문한 내역이 표시될 수 있습니다. Google의 목표는 방문한 사이트에서 서버의 대역폭에 무리를 주지 않으면서 가능한 한 많은 페이지를 크롤링하는 것입니다. 사이트에서 Google의 크롤링 요청 속도를 맞추는 데 문제가 있는 경우 크롤링 속도 변경을 요청할 수 있습니다.

Googlebot은 미국 IP 주소로부터 크롤링합니다. Googlebot이 사이트에서 미국으로부터의 요청을 차단하는 것을 감지하면 다른 국가에 있는 IP 주소에서 크롤링을 시도할 수 있습니다. 현재 Googlebot이 사용하는 IP 주소 블록 목록을 JSON 형식으로 확인할 수 있습니다.

일반적으로, Googlebot은 HTTP/1.1을 통해 크롤링합니다. 하지만 HTTP/2(사이트에서 지원하는 경우)를 통해서도 사이트를 크롤링할 수 있습니다. 이렇게 하면 사이트 및 Googlebot의 컴퓨팅 리소스(예: CPU, RAM)를 저장할 수 있지만, 색인 생성이나 사이트의 순위 지정에는 영향을 미치지 않습니다.

HTTP/2를 통한 크롤링을 거부하려면 Googlebot이 HTTP/2를 통해 사이트를 크롤링하려고 할 때 421 HTTP 상태 코드로 응답하도록 사이트를 호스팅하는 서버에 지시합니다. 그렇게 할 수 없는 경우 Googlebot팀에 메시지를 보내면 됩니다(단, 이 방법은 일시적임).

Googlebot은 HTML 파일 또는 지원되는 텍스트 기반 파일의 처음 15MB를 크롤링할 수 있습니다. 이미지, 동영상, CSS, 자바스크립트와 같이 HTML에서 참조되는 모든 리소스는 별도로 가져옵니다. 파일의 처음 15MB가 지난 후에는 Googlebot이 크롤링을 중지하며 색인을 생성할 때는 파일의 처음 15MB만 고려합니다. 파일 크기 제한은 압축되지 않은 데이터에 적용됩니다. 다른 크롤러는 제한사항이 다를 수 있습니다.

Googlebot에서 사이트를 방문하지 못하도록 차단하기

링크를 게시하지 않는 방법으로 웹 서버를 비밀로 유지하는 것은 거의 불가능합니다. 예를 들어, 누군가 '비밀' 서버의 링크를 따라 다른 웹 서버로 연결되면 '비밀' URL은 리퍼러 태그에 나타날 수 있으며, 리퍼러 로그에 포함된 다른 웹 서버에 의해 저장되고 게시될 수 있습니다. 마찬가지로, 웹에는 오래되고 깨진 링크가 많이 있습니다. 누군가 잘못된 링크를 사이트에 게시하거나 링크를 업데이트하지 않아 서버의 변경사항을 반영하지 못한 경우, Googlebot에서 사이트의 잘못된 링크를 크롤링하려고 시도하게 됩니다.

Googlebot에서 사이트 콘텐츠를 크롤링하지 못하도록 하는 몇 가지 방법이 있습니다. Googlebot이 페이지를 크롤링하지 못하게 하는 방법, Googlebot이 페이지의 색인을 생성하지 못하도록 하는 방법, 크롤러와 사용자 모두 페이지에 액세스하지 못하도록 하는 방법 간의 차이점에 유의하세요.

Googlebot인지 확인하기

Googlebot을 차단하기 전에 Googlebot에서 사용하는 사용자 에이전트 문자열이 다른 크롤러에 의해 스푸핑되는 경우가 많다는 점에 유의하세요. 문제가 되는 요청이 실제로 Google에서 보낸 것인지 확인해야 합니다. 실제로 Googlebot에서 보낸 요청인지 확인하는 가장 좋은 방법은 요청의 소스 IP에 역방향 DNS 조회를 사용하거나 소스 IP를 Googlebot IP 범위와 일치시킵니다.