Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
Сканирование страниц с региональными настройками
Если контент на страницах вашего сайта меняется в зависимости от региональных настроек посетителя, некоторые языковые версии могут остаться непросканированными. Причина заключается в том, что по умолчанию робот Googlebot отправляет HTTP-запросы с американских IP-адресов и не использует заголовок запросов Accept-Language.
Региональные настройки и робот Googlebot
Googlebot использует IP-адреса, относящиеся не только к США, но и к другим странам.
Мы советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы обычных пользователей. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его жителям Австралии, те же самые настройки должны применяться к роботам Googlebot из этих двух стран.
Рекомендуем во всех языковых версиях задать одни и те же исключения для роботов, то есть указать одинаковые правила в тегах robots (meta) и в файле robots.txt.