Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы

Вы можете проверить, сканирует ли ваш сайт именно робот Googlebot (или иной поисковый робот Google). Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники.

Есть два способа проверки:

Вручную. Если нужно выполнить единичную проверку, используйте инструменты командной строки. В большинстве случаев этого достаточно для решения задачи.
Автоматически. Если нужно выполнить масштабную проверку, используйте автоматическую систему и сопоставьте IP-адрес определенного поискового робота со списком опубликованных IP-адресов робота Googlebot.

Как использовать инструменты командной строки

С помощью команды host выполните обратный DNS-запрос по IP-адресу, который найдете в журнале.
Убедитесь, что в результате получено доменное имя googlebot.com или google.com.
С помощью команды host выполните прямой DNS-запрос на преобразование доменного имени, которое вы узнали на шаге 1.
Полученный IP-адрес должен совпадать с исходным.

Пример 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Пример 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Пример 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Как использовать автоматические системы

Вы можете сопоставить IP-адрес обратившегося к сайту поискового робота со списком IP-адресов робота Googlebot Для других IP-адресов Google, с которых может выполняться доступ к вашему сайту (например, по запросу пользователя или с помощью Apps Scripts), сопоставьте IP-адрес, с которого выполняется доступ, со списком IP-адресов Google. Учтите, что IP-адреса из файлов JSON представлены в формате CIDR.