크롤링 및 색인 생성 관련 주제 개요
이 섹션에 포함된 주제에서는 Google 검색 및 기타 Google 서비스에 콘텐츠를 표시하기 위해 콘텐츠를 찾고 파싱하는 Google의 기능을 제어하는 방법과 Google이 사이트의 특정 콘텐츠를 크롤링하지 못하게 하는 방법을 설명합니다.
다음은 각 페이지의 간략한 설명입니다. 크롤링 및 색인 생성에 관한 개요를 보려면 Google 검색 작동 방식 가이드를 참고하세요.
| 주제 | |
|---|---|
| Google에서 색인을 생성할 수 있는 파일 형식 | Google은 대부분의 페이지 및 파일 형식의 콘텐츠를 색인 생성할 수 있습니다. Google 검색에서 색인을 생성할 수 있는 가장 일반적인 파일 형식 목록을 살펴보세요. |
| URL 구조 | 콘텐츠를 정리하여 URL을 논리적이고 가장 이해하기 쉬운 방식으로 구성하는 것이 좋습니다. |
| 사이트맵 | 사이트의 새 페이지 또는 업데이트된 페이지에 관해 Google에 알립니다. |
| 크롤러 관리 | |
| robots.txt | robots.txt 파일은 검색엔진 크롤러에 크롤러가 사이트에 요청할 수 있거나 요청할 수 없는 페이지 또는 파일을 알려 줍니다. |
| 표준 URL | 과도한 크롤링을 방지하기 위해 사이트에 있는 중복 페이지에 관해 Google에 알립니다. Google에서 중복 콘텐츠를 자동으로 감지하는 방법, 중복 콘텐츠를 처리하는 방법, 발견된 중복 페이지 그룹에 표준 페이지를 할당하는 방법을 알아보세요. |
| 모바일 사이트 | 모바일 기기에 맞게 사이트를 최적화하고 적절하게 크롤링하고 색인을 생성하는 방법을 알아보세요. |
| AMP | AMP 페이지가 있다면 Google 검색에서 AMP가 어떻게 작동하는지 알아보세요. |
| 자바스크립트 | 크롤러가 콘텐츠에 액세스하고 렌더링하는 방법을 반영하려면 페이지와 애플리케이션을 설계할 때 몇 가지 차이점과 제한사항을 고려해야 합니다. |
| 페이지 및 콘텐츠 메타데이터 | |
| 삭제 | |
| 사이트 이전 및 변경 | |