クロールとインデックス登録に関するトピックの概要

このセクションでは、Google がお客様のコンテンツを見つけて解析し、検索などの Google サービスに表示する方法を制御する方法や、お客様のサイトの特定のコンテンツを Google がクロールするのを防ぐ方法について説明します。

以下は、各ページに関する簡単な説明です。クロールとインデックス登録の概要については、検索の仕組みのガイドをご覧ください。

トピック
Google によるインデックス登録が可能なファイル形式	Google では、ほとんどの形式のページやファイルのコンテンツをインデックス登録できます。Google 検索でインデックス登録できる一般的なファイル形式のリストをご確認ください。
URL 構造	論理的かつ人間が理解できる方法で URL を構成できるよう、コンテンツを分類します。
サイトマップ	サイト上の新しいページや更新されたページについて Google に通知できます。
クローラの管理	URL の再クロールを Google にリクエストする Googlebot のクロール頻度を下げる クローラーが Googlebot などのクローラーであることを確認する 大規模なサイト所有者向けのクロール割り当て管理ガイド HTTP ステータス コード、ネットワーク エラーおよび DNS エラーが Google 検索に及ぼす影響 Google クローラー
robots.txt	robots.txt ファイルは、クローラーがどのページやファイルをサイトからリクエストできるか、またはできないかを検索エンジン クローラーに知らせるものです。
正規化	URL の正規化の概要と、サイト内の重複ページを Google に知らせ、過度なクロールを回避する方法をご確認ください。Google が重複コンテンツを自動検出する仕組み、重複コンテンツの処理方法、重複するページのグループに対して正規 URL を割り当てる方法をご確認ください。
モバイルサイト	サイトをモバイル デバイス向けに最適化する方法を確認し、サイトのクロールとインデックス登録が正しく行われるようにしてください。
AMP	AMP ページがある場合は、Google 検索における AMP の仕組みをご確認ください。
JavaScript	クローラーによるアクセスやレンダリングに対応するには、ページやアプリケーションを設計する際に特別に考慮しなければならない点や制限事項がいくつかあります。
ページとコンテンツのメタデータ	有効な HTML を使用してページ メタデータを指定する Google がサポートしているすべての meta タグ Robots meta タグ、data-nosnippet、X-Robots-Tag の指定 noindex meta タグを使用してインデックス登録から除外する セーフサーチとウェブサイト リンクをクロールできるようにする rel 属性を使用して Google にアウトバウンド リンクの関係性を伝える
削除	Google と共有するコンテンツを制限する 自身のサイトでホストしているページを Google から削除する 自身のサイトでホストしている画像を検索結果から削除する 削除した情報が Google 検索に表示されないようにする
サイトの移転と変更	リダイレクトと Google 検索 サイトの移転 A/B テスト時に Google 検索への影響を最小限に抑える ウェブサイトを一時停止または無効化する