Рекомендации Google Поиска в отношении структуры URL
Чтобы роботы Google могли сканировать ваш сайт, он должен иметь удобную для просмотра структуру URL, которая отвечает требованиям, описанным ниже. Иначе сканирование вашего сайта может быть неэффективным, например выполняться или слишком часто, или никогда.
Требования к структуре сканируемых URL | |||||||
---|---|---|---|---|---|---|---|
Следуйте стандарту IETF STD 66 |
Google Поиск поддерживает URL, заданные по стандарту IETF STD 6х6. Символы, определяемые в нем в качестве зарезервированных, должны быть закодированы с использованием знака процента. |
||||||
Не используйте фрагменты URL, чтобы показывать разный контент |
Не используйте фрагменты, чтобы изменять содержимое страницы, поскольку Google Поиск обычно не поддерживает фрагменты URL. Вот пример URL с фрагментом: https://example.com/#/potatoes Если вы изменяете контент с помощью JavaScript, перейдите на History API. |
||||||
Используйте стандартное кодирование параметров URL |
Указывая URL, следуйте перечисленным далее общим принципам кодирования: разделяйте пары "ключ-значение" знаком равенства (
|
Упростите структуру своих URL
Чтобы помочь Google (и вашим пользователям) сориентироваться на вашем сайте, мы рекомендуем создать простую структуру URL, по возможности следуя приведенным ниже рекомендациям.
Рекомендации | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
Используйте описательные URL |
По возможности используйте в URL осмысленные слова, а не длинные цифровые идентификаторы.
|
||||||||||
Говорите на языке своей аудитории |
Советуем использовать в URL слова, характерные для вашей аудитории, и транслитерацию. Например, если ваша аудитория выполняет поиск на немецком, используйте немецкие слова в URL: https://example.com/lebensmittel/pfefferminz А если ваша аудитория предпочитает японский, делайте то же и вы: https://example.com/ペパーミント |
||||||||||
При необходимости используйте кодировку UTF-8 |
При создании внутренних ссылок на сайте используйте в атрибутах
|
||||||||||
Разделяйте слова дефисами |
Мы рекомендуем по возможности разделять слова в URL, чтобы пользователи и поисковые системы лучше понимали назначение адресов. Советуем использовать для этого дефисы (
|
||||||||||
Используйте как можно меньше параметров |
По возможности укоротите URL, удалив из них параметры, которые не влияют на показ контента. | ||||||||||
Учитывайте, что URL обрабатываются с учетом регистра |
Так как мы следуем стандарту IETF STD 66, Google Поиск обрабатывает URL с учетом регистра (например, /APPLE и /apple считаются одним и тем же каталогом). Если ваш веб-сервер обрабатывает URL со строчными и прописными буквами одинаково, приведите все URL к одинаковому регистру. Так роботам Google будет проще разобраться в том, действительно ли определенные URL ведут на одну страницу.
|
||||||||||
Используйте геотаргетинг в URL |
Если ваш сайт посещают люди из разных регионов, используйте такую структуру URL, которая позволит легко выделить фрагменты, указывающие на регион. Другие примеры структурирования URL можно найти в инструкции по указанию региона в URL. Рекомендуется использовать домен страны: https://example.de Рекомендуется использовать подкаталог с указанием на страну: https://example.com/de/ |
Устраните распространенные проблемы с URL
Если URL сайта слишком сложные, например содержат много параметров, то разные URL могут указывать на страницы с одним и тем же или похожим контентом. Это затрудняет сканирование. В результате робот Googlebot может создавать значительную нагрузку на ваш сервер. Кроме того, есть вероятность, что ему не удастся полностью просканировать весь контент сайта.
Наличие избыточного количества URL может быть связано с самыми разными факторами. Некоторые из них описаны ниже.
Распространенные проблемы | |
---|---|
Добавочная фильтрация набора элементов. |
На многих сайтах имеются разные представления одного и того же набора элементов или результатов поиска, с помощью которых пользователь может фильтровать его по определенным критериям (например, "показать гостиницы на побережье"). Если фильтры можно сочетать (например, "гостиницы на побережье с фитнес-центром"), на этих сайтах значительно увеличивается количество URL (представлений данных). Не обязательно создавать множество практически одинаковых списков гостиниц, поскольку роботу Googlebot достаточно изучить совсем небольшое количество списков, с помощью которых он сможет перейти на страницу каждой гостиницы. Пример:
|
Нерелевантные параметры |
Нерелевантные параметры в URL могут привести к появлению множества URL. Примеры:
Заблокируйте доступ к проблемным URL для робота Googlebot с помощью файла robots.txt. |
Проблемы, связанные с календарем |
Динамически создаваемый календарь может генерировать ссылки на последующие и предшествующие даты без ограничения по началу и окончанию периода. Пример: https://example.com/calendar.php?d=13&m=8&y=2011
Если на сайте есть бесконечный календарь, добавьте атрибут |
Неработающие относительные ссылки |
Если разместить ссылку на родительский элемент не там, где следует, а ваш сервер не возвращает правильный код статуса HTTP для несуществующих страниц, это может создать бесконечные пространства адресов. Например, ссылка <a href="../../category/stuff">...</a> на странице с адресом https://example.com/category/community/070413/html/FAQ.htm может отправить робота по несуществующему адресу https://example.com/category/community/category/stuff .
Чтобы избежать этого, используйте в своих ссылках абсолютные URL, а не относительные.
|
Что делать, когда структура URL препятствует сканированию
Если вы заметили, что роботы Google сканируют эти проблемные URL, советуем сделать следующее:
- Заблокируйте роботу Googlebot доступ к проблемным URL с помощью файла robots.txt. Как правило, следует блокировать динамические URL, например страницы результатов поиска или URL, создающие бесконечные пространства (такие как календари).
- Ознакомьтесь с информацией о том, как управлять сканированием при фасетной навигации.