Ответы на вопросы о поисковой оптимизации, июнь 2023 г.

Представляем текстовую версию ответов на вопросы о поисковой оптимизации от специалистов Google (это мероприятие прошло в июне 2023 г.). Чтобы получить рекомендации, касающиеся непосредственно вашего сайта, советуем задать вопрос на справочном форуме Центра Google Поиска.

Копии страниц нашего сайта появляются в рекомендациях Google несмотря на использование нами канонических ссылок. Почему?

Джон. Бет спрашивает: "Мы разрешаем распространять наш контент в интернете. Но, несмотря на использование нами канонических ссылок, в рекомендациях Google то и дело появляются копии страниц нашего сайта, а не наши страницы. Как это исправить?"

Ваш вопрос очень кстати. Мы недавно обновили наши рекомендации относительно скопированного контента, в которых также рассматриваются подобные ситуации. Атрибут link rel=canonical является для нас сигналом о том, что страница является канонической. Однако если вы разрешаете копирование вашего контента, но не хотите, чтобы копии появлялись в Поиске, рекомендуем добавить директиву noindex в метатег robots. Это предотвратит появление скопированного контента в результатах Поиска. В то же время эти страницы будут по-прежнему доступны для пользователей.

Можно ли настроить таргетинг для двух сайтов с разными доменами верхнего уровня на одну и ту же страну, используя одинаковые ключевые слова?

Гэри. Сагар интересуется: "Можно ли настроить таргетинг для двух сайтов с разными доменами верхнего уровня на одну и ту же страну, используя одинаковые ключевые слова?"

В первую очередь необходимо подумать, не будет ли это сбивать с толку ваших пользователей, ведь им будет доступно сразу два домена примерно с одинаковым контентом. Кроме того, это также может рассматриваться как попытка манипулировать результатами поиска, поэтому рекомендую вам ознакомиться с правилами Google в отношении веб-спама.

Влияют ли предупреждения о JavaScript в Lighthouse на оценку и позиции страницы в результатах Поиска?

Мартин. Арнд задает вопрос: "Влияют ли предупреждения о JavaScript в Lighthouse для библиотек с известными уязвимостями в системе безопасности на оценку и позиции страницы в результатах Поиска?"

Здравствуйте, Арнд! Спасибо за вопрос. Нет. В целом это не влияет на ранжирование. Однако игнорировать предупреждения и проблемы в системе безопасности – не лучшая идея. Я настоятельно рекомендую решить эти проблемы как можно скорее.

Как запретить роботу Googlebot сканирование определенного раздела страницы?

Джон. Шон спрашивает: "Как запретить роботу Googlebot сканирование определенного раздела страницы? На страницах товаров на нашем сайте присутствует раздел "С этим товаром покупают". Он часто содержит небольшие дополнения, которые составляют лишь незначительную часть нашего сайта".

Если вкратце, то нельзя запретить роботу сканирование определенного раздела HTML-страницы. В то же время для решения этой проблемы существует два похожих способа: вы можете либо использовать HTML-атрибут data-nosnippet, чтобы текст не появлялся в описании страницы в результатах поиска, либо использовать тег iframe или JavaScript, источник которого заблокирован файлом robots.txt. Мы не рекомендуем блокировать тег iframe или файл JavaScript с помощью файла robots.txt, поскольку это может вызвать проблемы со сканированием и индексированием, которые будет сложно найти и устранить. Не стоит переживать, если какой-либо контент показывается на многих страницах вашего сайта. Необязательно запрещать роботу Googlebot сканировать этот контент.

Мой файл Sitemap уже отправлен, но страницы нет в результатах Поиска. Почему?

Гэри. Пользователь, пожелавший остаться анонимным, интересуется: "Мой файл Sitemap уже отправлен, но страницы нет в результатах Поиска. Почему?"

Файл Sitemap лишь сообщает поисковым системам, где находится ваш контент. Отправка этого файла не гарантирует, что ваши URL будут просканированы и попадут в индекс. И то, и другое зависит от качества контента и его популярности в интернете.

Почему Google сообщает об ошибках в структурированных данных, а сайт schema.org – нет?

Мартин. Кори задает вопрос: "Почему Google сообщает об ошибках в структурированных данных, а сайт schema.org – нет? Google Search Console выдает сообщение о недопустимом перечисляемом значении в поле "returnFees", но валидатор разметки на сайте schema.org ошибок не находит. Помогите разобраться".

Здравствуйте, Кори! Спасибо за вопрос. schema.org – это открытый ресурс, созданный независимыми сторонними разработчиками, который определяет типы и атрибуты структурированных данных. Google как поставщик услуг может предъявлять особые требования к некоторым атрибутам и типам данных для использования структурированных данных в функциях продуктов, таких как расширенные результаты в Google Поиске. Поэтому, хотя отсутствие некоторых атрибутов или использование определенных типов значений для атрибутов является допустимым на сайте schema.org, поставщики услуг, такие как Google, могут предъявлять более строгие требования к оформлению структурированных данных, чтобы они действительно улучшали наши функции и продукты.

Влияет ли интеграция заголовков безопасности, таких как HSTS, на позиции сайта?

Джон. Arnd спрашивает: "Влияет ли интеграция заголовков безопасности, таких как HSTS, на позиции сайта?"

Нет, заголовок HSTS не влияет на позиции сайта в Поиске. Этот заголовок сообщает пользователям, что к контенту необходимо обращаться только через HTTPS, и, как правило, используется вместе с переадресациями на HTTPS-версии страниц. Выбор самой подходящей версии страницы для сканирования и индексирования в Google осуществляется в рамках процесса нормализации, и в нем не учитываются заголовки, используемые для HSTS. В то же время использование этих заголовков полезно для пользователей.

Сравнивает ли Google текущую и предыдущую версии файлов Sitemap в формате XML?

Гэри. Билл интересуется: "Сравнивает ли Google текущую и предыдущую версии файлов Sitemap в формате XML, чтобы узнать, какой новый контент появился на сайте, а что было удалено?"

Безусловно. Мы не будем снова целиком обрабатывать файл Sitemap, если он не изменился с момента его последнего сканирования. Если же в нем что-то поменялось, будь то элемент URL или атрибут lastmod, этот файл будет обработан повторно. Это не значит, что указанные в нем URL будут просканированы, поскольку, как и любые другие URL, они должны пройти проверку на качество. Также следует помнить, что URL, удаленный из файла Sitemap (в частности, если он больше не существует), не удаляется из индекса автоматически и не имеет приоритета при сканировании, так что мы не можем гарантировать, что он будет удален из индекса в ближайшее время.

Чем отличаются файлы Sitemap в формате XML и HTML? Search Console выдает сообщение об ошибке.

Джон. Маро Сэми задает вопрос: "Чем отличаются файлы Sitemap в формате XML и HTML и что делать, если Search Console выдает следующее сообщение об ошибке: "Похоже, что файл Sitemap является страницей HTML. Используйте поддерживаемый формат Sitemap"?"

Такое случается, когда файл в формате XML и HTML-страница имеют одно и то же название. HTML-карта сайта может быть полезна для пользователей, это карта более высокого уровня. Файл Sitemap в формате XML предназначен только для поисковых роботов. От себя я бы добавил, что HTML-карта сайта является сигналом о том, что на вашем сайте сложная и запутанная навигация, поэтому я бы рекомендовал решить эту проблему, вместо того чтобы создавать файл Sitemap в формате HTML.

Как Google учитывает структурированные данные, при обработке которых возникли ошибки?

Гэри. Анимеш спрашивает: "Как Google учитывает структурированные данные, при обработке которых возникли ошибки?"

Google не учитывает такие данные. Если при обработке структурированных данных происходят ошибки, мы не сможем извлечь содержащуюся в них информацию, поэтому не учитываем их.

Если URL содержит цифры, плохо ли это с точки зрения поисковой оптимизации? Стоит ли вообще использовать цифры в URL?

Джон. Следующий вопрос звучит так: "Если URL содержит цифры, плохо ли это с точки зрения поисковой оптимизации? Стоит ли вообще использовать цифры в URL?"

Нет ничего плохого в том, что URL содержит цифры. Вы можете использовать цифры, буквы (не только латинские) и даже символы. Единственное, что я не советовал бы включать в URL, – это временные идентификаторы, которые меняются каждый раз, когда вы посещаете страницу, поскольку это существенно усложняет сканирование.

Почему URL моего сайта заблокирован?

Гэри. Клаудио интересуется: "Почему URL моего сайта заблокирован?"

Ваш URL не заблокирован, он опубликован, и с ним все в порядке, просто пока он не появляется в результатах Поиска. Рекомендую прочесть наше Введение в поисковую оптимизацию, чтобы понять, как улучшить позиции сайта, а затем ознакомиться с рекомендациями из других авторитетных источников, посвященных этой теме, таких как Moz, и советами экспертов, в частности Алейды Солис.

Что такое "раздувание индекса" и как это влияет на сканирование и индексирование сайта роботами Google?

Джон. Следующий вопрос звучит так: "Что такое "раздувание индекса" и как это влияет на сканирование и индексирование сайта роботами Google?"

В Google нет такого понятия, как раздувание индекса. Наши системы не устанавливают искусственных ограничений на количество страниц на сайте, которые могут быть проиндексированы. Если вы хотите, чтобы ваши страницы попали в индекс, они должны содержать полезный контент, при этом их может быть как угодно много.

Есть ли надежный способ навсегда запретить роботу Googlebot сканировать мой сайт?

Гэри. Пользователь, пожелавший остаться анонимным, задает вопрос: "Есть ли надежный способ навсегда запретить сканирование моего сайта роботу Googlebot? Не на несколько месяцев, а именно навсегда".

Самый простой способ сделать это – при помощи файла robots.txt: если добавить в него директиву disallow: / для агента пользователя Googlebot, то робот Googlebot не будет сканировать ваш сайт до тех пор, пока вы не удалите это правило. Если вы хотите заблокировать даже сетевой доступ, вам потребуется создать правила брандмауэра для загрузки наших IP-адресов в правило отказа. Список наших IP-адресов приведен в статье о проверке подлинности робота Googlebot.

Может ли компания, занимающаяся поисковой оптимизацией, получить значок "Одобрено Google"?

Джон. Майкл спрашивает: "Может ли компания, занимающаяся поисковой оптимизацией, получить значок "Одобрено Google"?"

Насколько мне известно, Google не занимается сертификацией в области поисковой оптимизации. Мы проводим сертификацию для определенных продуктов, таких как Google Реклама, но не в области поисковой оптимизации. Если вам кто-то сообщил, что та или иная компания проводит официальную сертификацию, лучше уточнить данную информацию непосредственно в этой компании.

Может ли наличие нескольких меню навигации негативно сказаться на показателях поисковой оптимизации сайта?

Гэри. Вопрос от анонимного пользователя: "Может ли наличие нескольких меню навигации негативно сказаться на показателях поисковой оптимизации сайта? У нас есть основное меню, в котором перечислены самые важные категории сайта, а также "второстепенные" меню, более подробно раскрывающие категории, связанные с расширениями бренда".

Маловероятно, чтобы наличие нескольких меню на вашем сайте могло как-то повлиять на его показатели поисковой оптимизации.

На индексирование были отправлены как HTML-страницы, так и страницы ASPX, но в индекс добавлено лишь несколько HTML-страниц. Помогите.

Джон. Следующий вопрос звучит так: "На индексирование были отправлены как HTML-страницы, так и страницы ASPX, но в индекс добавлено лишь несколько HTML-страниц. Помогите разобраться, почему".

У нас нет особых требований к файлам с расширением ASPX. URL с таким расширением может быть обычной HTML-страницей и может попасть в индекс. Если вы скроете расширение, для наших систем это ничего не изменит. Если у вас есть общие вопросы относительно сканирования или индексирования, рекомендую обратиться за помощью на наш справочный форум.

В результатах Поиска появляются две страницы из одного и того же домена, причем второй результат – с небольшим отступом. Почему?

Гэри. Шин интересуется: "В результатах Поиска появляются две страницы с одного и того же домена, причем второй результат – с небольшим отступом. Что это значит?"

То, о чем Вы говорите, называется группами хоста. Вы никак не можете повлиять на них при помощи разметки, но они являются сигналом о том, что на вашем сайте есть несколько страниц, которые могут занимать высокие позиции по определенному запросу. Возможно, вам стоит объединить эти страницы в одну, если это возможно. Более подробная информация о группах хостов представлена в нашей галерее визуальных элементов.

Возможно ли существование поддельного робота Googlebot, ссылающегося на официальный URL, но использующего другой IP-адрес?

Джон. Arnd задает вопрос: "Возможно ли существование поддельного робота Googlebot, ссылающегося на официальный URL, но использующего другой IP-адрес?"

К сожалению, можно задать любое название для агента пользователя, и нередко в скриптах, в которых используется агент пользователя под названием Googlebot, его пытаются выдать за настоящий. В наших справочных материалах размещены списки IP-адресов, которые использует робот Googlebot, чтобы пользователи могли проверить, от кого был получен запрос: от настоящего робота Googlebot или нет. В вашем конкретном случае IP-адрес указывает на Hetzner Online, хостинг-провайдера в Германии. Если вы сталкиваетесь с множеством подобных запросов, возможно, имеет смысл обратиться к ним с жалобой.

Можно ли отклонять IP-адреса, а не доменные имена?

Гэри. Мухаммед спрашивает: "Можно ли отклонять IP-адреса, а не доменные имена?"

Нет, нельзя.

Зачем нужна директива NOODP, которая часто встречается в сервисе Blogger?

Джон. "Зачем нужна директива NOODP, которая часто встречается в сервисе Blogger?"

Чтобы ответить на ваш вопрос, нам придется вернуться в прошлое. В Google уже давно не используется этот метатег robots. Он был связан с каталогом Open Directory Project (DMOZ), в котором были перечислены сайты с их кратким описанием. Метатег сообщал поисковым системам, что это описание следует игнорировать. Каталога Open Directory Project (или ODP) больше не существует, и этот метатег больше не используется. Его наличие не является проблемой, поэтому можно просто оставить его как есть.

Чтобы видео рассматривалось как "основной контент", должно ли оно быть самым первым элементом на странице?

Гэри. Фредерик интересуется: "Начиная с 13 апреля, для того чтобы значок видео появлялся на странице результатов поиска, видеоролик должен быть основным контентом страницы. Значит ли это, что видео должно быть самым первым элементом на странице?"

Нет. Посмотрите на это с точки зрения пользователей и сравните две ситуации: первая – они попадают на вашу страницу и вынуждены искать видеоролик, вторая – после перехода на страницу они сразу приступают к просмотру видео. Разумеется, мы стараемся предлагать пользователям те страницы, на которых видео искать не нужно. Обратите внимание на оформление страниц крупных видеохостингов, таких как Vimeo или YouTube, чтобы понять, на что ориентируются наши алгоритмы.