Как обновить файл robots.txt
Чтобы обновить правила в существующем файле robots.txt, скачайте его копию с сайта и внесите необходимые изменения.
Как скачать файл robots.txt
Скачать файл robots.txt можно разными способами, например:
-
Откройте в браузере нужный URL (например,
https://example.com/robots.txt
), скопируйте текст и сохраните его в новом файле на компьютере. Обязательно следуйте инструкциям в отношении формата файла. -
Скачайте копию файла robots.txt с помощью cURL или другого подобного приложения. Пример:
curl https://example.com/robots.txt -o robots.txt
- В Отчете о файлах robots.txt в Search Console скопируйте содержимое файла robots.txt и вставьте его в файл на компьютере.
Как изменить файл robots.txt
Откройте файл robots.txt, скачанный с сайта, в текстовом редакторе, и внесите необходимые изменения в правила. Используйте поддерживаемый синтаксис и обязательно сохраните файл в кодировке UTF-8.
Как загрузить файл robots.txt
Загрузите новый текстовый файл robots.txt в корневой каталог сайта. Способ загрузки зависит от того, какую платформу и какой сервер вы используете. Ознакомьтесь с нашими рекомендациями.
Как обновить версию файла robots.txt, сохраненную в кеше Google
Сканируя ваши страницы, поисковые роботы Google учитывают изменения в файле robots.txt и обновляют его кешированную копию каждые 24 часа. Если вы хотите обновить кеш быстрее, запросите повторное сканирование в Отчете о файлах robots.txt.