robots.txt ファイルを更新する

既存の robots.txt ファイル内のルールを更新するには、サイトから robots.txt ファイルをダウンロードして、必要な編集を行います。

robots.txt ファイルをダウンロードする

robots.txt ファイルはさまざまな方法でダウンロードできます。以下に例を示します。

• robots.txt ファイル（例: https://example.com/robots.txt）に移動し、その内容をパソコン上の新しいテキスト ファイルにコピーします。新しいローカル ファイルを作成する際には、ファイル形式関連のガイドラインを遵守してください。
• cURL などのツールを使用して、robots.txt ファイルの実際のコピーをダウンロードします。次に例を示します。

  curl https://example.com/robots.txt -o robots.txt

• Search Console の robots.txt テスターを使用して、robots.txt ファイルのコピーをダウンロードします。
  1. robots.txt エディタの右下の [送信] をクリックします。この操作により [送信] ダイアログが開きます。
  2. [送信] ダイアログで [ダウンロード] をクリックし、robots.txt のコードを robots.txt テスターページからダウンロードします。

robots.txt ファイルを編集する

サイトからダウンロードした robots.txt ファイルをテキスト エディタで開き、ルールに必要な変更を加えます。必ず正しい構文を使用し、UTF-8 エンコードでファイルを保存してください。

robots.txt ファイルをアップロードする

保存した新しい robots.txt ファイルを、robots.txt という名前のテキスト ファイルとして、ドメインのルートにアップロードします。 サイトへのファイルのアップロード方法は、プラットフォームやサーバーに大きく依存します。サイトに robots.txt ファイルをアップロードするためのヒントをご確認ください。

Google の robots.txt キャッシュを更新する

自動クロールの過程で、Google のクローラは robots.txt ファイルに加えられた変更を検知し、キャッシュに保存されたバージョンを 24 時間おきに更新します。キャッシュをより迅速に更新する必要がある場合は、robots.txt テスターの [送信] 機能を使用してください。

1. [アップロードされたバージョンを表示] をクリックして、公開中の robots.txt が Google にクロールして欲しいバージョンであることを確認します。
2. [送信] をクリックして、robots.txt ファイルを変更したことを Google に通知し、クロールをリクエストします。
3. 最新バージョンが正常にクロールされたかどうかを確認するには、まずブラウザのページを更新してツールのエディタを更新し、公開中の robots.txt のコードを確認します。ページを更新した後、プルダウンをクリックして、robots.txt ファイルの最新バージョンを Google のクローラが初めて読み込んだときのタイムスタンプを確認します。