robots.txt の概要

robots.txt ファイルとは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。これは主に、サイトでのリクエストのオーバーロードを避けるために使用するもので、Google にウェブページが表示されないようにするためのメカニズムではありません。Google にウェブページが表示されないようにするには、noindex を使用してインデックス登録をブロックするか、パスワードでページを保護します。

robots.txt ファイルの使用目的

robots.txt ファイルは、基本的にはサイトに対するクローラーのトラフィックを管理するために使用され、通常は、ファイル形式に応じて Google に対して非公開にするファイルを設定します。

robots.txt ファイルの制約について

robots.txt ファイルを作成または編集する前に、URL をブロックする手段として robots.txt を使用した場合の制約を理解しておく必要があります。目的や状況によっては、URL がウェブで見つからないようにするために他の方法を検討することが必要になる場合もあります。

• すべての検索エンジンが robots.txt ルールに対応するとは限らない
  サイトに対するクローラーの動作に対して、robots.txt ファイルの指示を強制適用することはできません。指示に従うかどうかはクローラー次第です。Googlebot などの信頼できるウェブ クローラーは robots.txt ファイルの指示に従いますが、他のクローラーも従うとは限りません。そのため、ウェブ クローラーから情報を保護するには、サーバー上の非公開ファイルをパスワードで保護する方法など、他のブロック方法を利用することをおすすめします。
• クローラーによって構文解釈が異なる
  信頼できるウェブ クローラーは robots.txt ファイルのルールに従いますが、各クローラーでルールの解釈が異なる可能性があります。ウェブ クローラーによっては、特定の指示が理解されない可能性があるため、さまざまなウェブ クローラーに対応する適切な構文を把握する必要があります。
• robots.txt で許可していないページが他のサイトからリンクされている場合、そのページはインデックスに登録される可能性がある
  Google では、robots.txt ファイルでブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。そのため、該当の URL アドレスや、場合によってはその他の公開情報（該当ページへのリンクのアンカー テキストなど）が、Google 検索結果に表示されることもあります。Google 検索の検索結果に特定の URL が表示されるのを確実に防ぐには、サーバー上のファイルをパスワードで保護するか、noindex meta タグまたはレスポンス ヘッダーを使用する、もしくは該当ページを完全に削除する必要があります。

robots.txt ファイルを作成または更新する

ファイルが必要な場合は robots.txt ファイルを作成する方法を、すでに作成している場合は、ファイルの更新方法をご覧ください。