クロールとインデックス登録に関するトピックの概要

このセクションでは、Google がお客様のコンテンツを見つけて解析し、検索などの Google サービスに表示する方法を制御する方法や、お客様のサイトの特定のコンテンツを Google がクロールするのを防ぐ方法について説明します。

以下は、各ページに関する簡単な説明です。クロールとインデックス登録の概要については、検索の仕組みのガイドをご覧ください。

トピック
Google によるインデックス登録が可能なファイル形式 Google では、ほとんどの形式のページやファイルのコンテンツをインデックス登録できます。Google 検索でインデックス登録できる一般的なファイル形式のリストをご確認ください。
URL 構造 論理的かつ人間が理解できる方法で URL を構成できるよう、コンテンツを分類します。
サイトマップ サイト上の新しいページや更新されたページについて Google に通知できます。
クローラの管理
robots.txt robots.txt ファイルは、クローラーがどのページやファイルをサイトからリクエストできるか、またはできないかを検索エンジン クローラーに知らせるものです。
正規化 URL の正規化の概要と、サイト内の重複ページを Google に知らせ、過度なクロールを回避する方法をご確認ください。Google が重複コンテンツを自動検出する仕組み、重複コンテンツの処理方法、重複するページのグループに対して正規 URL を割り当てる方法をご確認ください。
モバイルサイト サイトをモバイル デバイス向けに最適化する方法を確認し、サイトのクロールとインデックス登録が正しく行われるようにしてください。
AMP AMP ページがある場合は、Google 検索における AMP の仕組みをご確認ください。
JavaScript クローラーによるアクセスやレンダリングに対応するには、ページやアプリケーションを設計する際に特別に考慮しなければならない点や制限事項がいくつかあります。
ページとコンテンツのメタデータ
削除
サイトの移転と変更