Как обновить файл robots.txt

Если вы пользуетесь сервисом веб-хостинга (например, Wix или Blogger), вероятнее всего, вам не потребуется редактировать файл robots.txt или у вас даже не будет такой возможности. Вместо этого ваш провайдер будет указывать поисковым системам, нужно ли сканировать ваш контент, с помощью страницы настроек поиска или другого инструмента.

Если же вы хотите самостоятельно запретить или разрешить поисковым системам обработку определенной страницы вашего сайта, попробуйте найти информацию об этом в сервисе управления хостингом. Пример запроса: "wix как скрыть страницу от поисковых систем".

Чтобы обновить правила в существующем файле robots.txt, скачайте его копию с сайта и внесите необходимые изменения.

Как скачать файл robots.txt

Скачать файл robots.txt можно разными способами, например:

Откройте в браузере нужный URL (например, https://example.com/robots.txt), скопируйте текст и сохраните его в новом файле на компьютере. Обязательно следуйте инструкциям в отношении формата файла.
Скачайте копию файла robots.txt с помощью cURL или другого подобного приложения. Пример команды для скачивания:
```
curl https://example.com/robots.txt -o robots.txt
```
Скачайте копию файла из Инструмента проверки robots.txt в Search Console.
1. Нажмите Отправить в правом нижнем углу редактора файла robots.txt. Откроется диалоговое окно отправки.
2. Чтобы сохранить файл из Инструмента проверки robots.txt на компьютере, нажмите Скачать.

Как изменить файл robots.txt

Откройте файл robots.txt, скачанный с сайта, в текстовом редакторе, и внесите необходимые изменения в правила. Используйте поддерживаемый синтаксис и обязательно сохраните файл в кодировке UTF-8.

Как загрузить файл robots.txt

Загрузите новый текстовый файл robots.txt в корневой каталог домена. Способ загрузки зависит от того, какую платформу и какой сервер вы используете. Ознакомьтесь с нашими рекомендациями.

Как обновить версию файла robots.txt, сохраненную в кеше Google

Сканируя ваши страницы, поисковые роботы Google учитывают изменения в файле robots.txt и обновляют его кешированную копию каждые 24 часа. Если вы хотите обновить кеш быстрее, загрузите новую версию через Инструмент проверки robots.txt.

Нажмите кнопку Просмотреть добавленную версию и проверьте, правильная ли версия robots.txt сейчас используется.
Нажмите Отправить. Наши сервисы узнают, что файл robots.txt изменен и его необходимо просканировать.
Чтобы узнать, успешно ли просканирован измененный файл, обновите страницу "Инструмент проверки файла robots.txt". Окно редактирования будет обновлено, и вы увидите код из текущей версии robots.txt. Из раскрывающегося меню можно узнать, когда робот Google впервые обнаружил последнюю версию файла robots.txt.