Среда, 2 октября 2019 г.
Как мы уже сообщали на конференции Google I/O в этом году, робот Googlebot теперь применяет для обработки веб-страниц браузер на основе Chrome. В связи с этим в декабре 2019 г. агент пользователя будет обновлен. Впоследствии мы продолжим периодически обновлять номера версий с учетом изменений в Chrome.
Дополнительную информацию о строках агента пользователя и о том, как Google обрабатывает веб-страницы, вы можете найти в статьях о поисковых роботах Google (агентах пользователя) и устранении неполадок при индексации JavaScript.
Актуальные агенты пользователя робота Googlebot
Мобильный агент пользователя
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Агент пользователя для обычных веб-страниц
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
ИЛИ
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Safari/537.36
Новый принцип работы Googlebot и агента пользователя
С декабря мы начнем периодически обновлять приведенные выше строки пользовательских агентов, чтобы они отражали версию Chrome, используемую роботом Googlebot. В строках ниже вместо W.X.Y.Z будет указываться актуальная версия Chrome, например вместо W.X.Y.Z вы увидите такой номер: 76.0.3809.100. Номер версии будет регулярно обновляться.
Мобильный агент пользователя
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Агент пользователя для обычных веб-страниц
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
ИЛИ
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Как протестировать сайт
Проведенные нами исследования говорят о том, что это изменение не повлияет на большинство сайтов.
Если веб-мастер следует нашим рекомендациям по проверке поддержки функций и осуществляет прогрессивное улучшение кода веб-страниц, а не ограничивается определением агентов пользователя, его сайт будет обрабатываться так же, как раньше.
Если же на сайте реализовано определение агента пользователя, это может вызвать проблемы. Мы настоятельно рекомендуем отказаться от этого метода и использовать проверку поддержки функций. Если же вы не можете этого сделать, ограничьтесь поиском слова Googlebot в описании агента пользователя.
В ходе проверки мы обнаружили некоторые распространенные проблемы, связанные с нововведением:
- Вместо контента страница выдает сообщение об ошибке. Например, робот Googlebot может быть воспринят как пользователь, у которого включен блокировщик рекламы, и в таком случае ему запрещается доступ к контенту.
- Страница выполняет переадресацию на документ, доступ к которому заблокирован с помощью файла robots.txt или директивы noindex.
Если вы не уверены, что на вашей веб-странице нет ошибок, попробуйте открыть ее в браузере, применив новый агент пользователя для робота Googlebot. Чтобы переопределить агент пользователя в Chrome, следуйте этим инструкциям.
Есть вопросы? Задайте их на форуме для веб-мастеров. Также приглашаем вас принять участие в видеовстречах на YouTube и подписаться на наш канал в Твиттере.