Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.

Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы Google

Вы можете проверить, сканирует ли ваш сайт именно робот Googlebot (или иной поисковый робот Google). Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники.

Есть два способа проверки:

  • Вручную. Если нужно выполнить единичную проверку, используйте инструменты командной строки. В большинстве случаев этого достаточно для решения задачи.
  • Автоматически. Если нужно выполнить масштабную проверку, используйте автоматическую систему и сопоставьте IP-адрес определенного поискового робота со списком опубликованных IP-адресов робота Googlebot.

Как использовать инструменты командной строки

  1. С помощью команды host выполните обратный DNS-запрос по IP-адресу, который найдете в журнале.
  2. Убедитесь, что в результате получено доменное имя googlebot.com или google.com.
  3. С помощью команды host выполните прямой DNS-запрос на преобразование доменного имени, которое вы узнали на шаге 1.
  4. Полученный IP-адрес должен совпадать с исходным.

Пример 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Пример 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Как использовать автоматические системы

Вы можете сопоставить IP-адрес обратившегося к сайту поискового робота со списком IP-адресов робота Googlebot. Для других IP-адресов Google, откуда может выполняться доступ к вашему сайту (например, по запросу пользователя или с помощью Apps Scripts), сопоставьте IP-адрес, откуда выполняется доступ, со списком IP-адресов Google.