크롤링 및 색인 생성 주제 개요

이 섹션에 포함된 주제에서는 Google 검색 및 기타 Google 서비스에 콘텐츠를 표시하기 위해 콘텐츠를 찾고 파싱하는 Google의 기능을 제어하는 방법과 Google이 사이트의 특정 콘텐츠를 크롤링하지 못하게 하는 방법을 설명합니다.

다음은 각 페이지의 간략한 설명입니다. 크롤링 및 색인 생성에 관한 개요를 보려면 Google 검색 작동 방식에 관한 고급 가이드를 참고하세요.

주제
사이트맵 사이트의 새 페이지 또는 업데이트된 페이지에 관해 Google에 알립니다.
robots.txt robots.txt 파일은 검색엔진 크롤러에 크롤러가 사이트에 요청할 수 있거나 요청할 수 없는 페이지 또는 파일을 알려 줍니다.
메타 태그 Google에서는 검색 노출 및 동작을 제어하는 여러 태그 확장을 지원합니다.
크롤러 관리
삭제
중복 콘텐츠 과도한 크롤링을 방지하기 위해 사이트에 있는 중복 페이지에 관해 Google에 알립니다. Google에서 중복 콘텐츠를 자동으로 감지하는 방법, 중복 콘텐츠를 처리하는 방법, 발견된 중복 페이지 그룹에 표준 페이지를 할당하는 방법을 알아보세요.
사이트 이전 및 변경
국제 및 다국어 사이트 사이트에 다른 언어로 된 콘텐츠가 있거나 지역마다 다른 콘텐츠를 제공하는 경우 Google에서 사이트를 파악하는 데 도움을 주는 방법을 알아봅니다.
자바스크립트 콘텐츠 크롤러가 콘텐츠에 액세스하고 렌더링하는 방법을 반영하려면 페이지와 애플리케이션을 설계할 때 몇 가지 차이점과 제한사항을 고려해야 합니다.