robots.txt ファイルを更新する
既存の robots.txt ファイル内のルールを更新するには、サイトから robots.txt ファイルをダウンロードして、必要な編集を行います。
robots.txt ファイルをダウンロードする
robots.txt ファイルはさまざまな方法でダウンロードできます。以下に例を示します。
-
robots.txt ファイル(例:
https://example.com/robots.txt
)に移動し、その内容をパソコン上の新しいテキスト ファイルにコピーします。新しいローカル ファイルを作成する際には、ファイル形式関連のガイドラインを遵守してください。 -
cURL などのツールを使用して、robots.txt ファイルの実際のコピーをダウンロードします。次に例を示します。
curl https://example.com/robots.txt -o robots.txt
-
Search Console の robots.txt テスターを使用して、robots.txt ファイルのコピーをダウンロードします。
- robots.txt エディタの右下の [送信] をクリックします。この操作により [送信] ダイアログが開きます。
- [送信] ダイアログで [ダウンロード] をクリックし、robots.txt のコードを robots.txt テスターページからダウンロードします。
robots.txt ファイルを編集する
サイトからダウンロードした robots.txt ファイルをテキスト エディタで開き、ルールに必要な変更を加えます。必ず正しい構文を使用し、UTF-8 エンコードでファイルを保存してください。
robots.txt ファイルをアップロードする
保存した新しい robots.txt ファイルを、robots.txt という名前のテキスト ファイルとして、ドメインのルートにアップロードします。 サイトへのファイルのアップロード方法は、プラットフォームやサーバーに大きく依存します。サイトに robots.txt ファイルをアップロードするためのヒントをご確認ください。
Google の robots.txt キャッシュを更新する
自動クロールの過程で、Google のクローラは robots.txt ファイルに加えられた変更を検知し、キャッシュに保存されたバージョンを 24 時間おきに更新します。キャッシュをより迅速に更新する必要がある場合は、robots.txt テスターの [送信] 機能を使用してください。
- [アップロードされたバージョンを表示] をクリックして、公開中の robots.txt が Google にクロールして欲しいバージョンであることを確認します。
- [送信] をクリックして、robots.txt ファイルを変更したことを Google に通知し、クロールをリクエストします。
- 最新バージョンが正常にクロールされたかどうかを確認するには、まずブラウザのページを更新してツールのエディタを更新し、公開中の robots.txt のコードを確認します。ページを更新した後、プルダウンをクリックして、robots.txt ファイルの最新バージョンを Google のクローラが初めて読み込んだときのタイムスタンプを確認します。