Как создать файл Sitemap и сделать его доступным для Google
Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Если вы только начинаете работать с файлами Sitemap, ознакомьтесь с общей информацией.
В Google поддерживаются форматы Sitemap, определенные протоколом Sitemap. Каждый формат Sitemap имеет свои преимущества и недостатки. Выберите тот из них, который лучше всего подходит для вашего сайта и его настроек (для Google нет никакой разницы). Различные форматы Sitemap сравниваются в следующей таблице.
Сравнение форматов Sitemap | |||
---|---|---|---|
Файл Sitemap в формате XML |
XML-файл Sitemap – самый универсальный. Он легко расширяется и может предоставлять дополнительные данные об изображениях, видео и новостном контенте, а также локализованные версии страниц сайта.
|
||
RSS, mRSS и Atom 1.0 |
Файлы Sitemap форматов RSS, mRSS и Atom 1.0 похожи по структуре на XML-файлы Sitemap, но предоставить их проще всего, так как они создаются в CMS автоматически.
|
||
Текстовый формат Sitemap |
Самый простой из форматов Sitemap; может лишь содержать URL HTML-страниц и других индексируемых страниц.
|
Рекомендации в отношении файлов Sitemap
Рекомендации в отношении файлов Sitemap определяются протоколом Sitemap. Рекомендации, которые чаще всего упускают из виду, связаны с ограничениями по размеру файлов Sitemap, их расположением и URL, которые в них входят.
Ограничения по размеру файлов Sitemap. Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество URL превышают эти лимиты, разбейте его на несколько частей. Вы можете по желанию создать и отправить в Google файл индекса Sitemap. При необходимости можно отправить несколько файлов и индексов Sitemap. Они могут понадобиться, если вам нужно отследить поисковую эффективность каждого файла Sitemap в Search Console.
Расположение и кодировка файлов Sitemap. Файлы Sitemap должны быть в кодировке UTF-8. Файл Sitemap можно разместить в любой части сайта, но если сделать это не через Search Console, то он влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне.
Свойства указываемых URL.
В файлах Sitemap следует использовать полные абсолютные URL. Google будет сканировать в точности те URL, которые вы перечислите. Например, если адрес сайта – https://www.example.com/
, вместо URL вида /mypage.html
(относительный URL) следует указывать полный абсолютный URL: https://www.example.com/mypage.html
.
Добавляйте в Sitemap те URL, которые хотите видеть в результатах поиска Google. В общем случае Google показывает в результатах поиска канонические URL, на которые можно влиять с помощью файлов Sitemap. Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них. Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.
Полный список рекомендаций можно найти на странице протокола Sitemap.
Файл Sitemap в формате XML
XML-файл Sitemap – самый универсальный. Используя поддерживаемые Google расширения файлов Sitemap, вы можете указать дополнительные сведения об изображениях, видео и новостном контенте, а также о локализованных версиях страниц.
Вот пример простого XML-файла Sitemap с одним URL:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://www.example.com/foo.html</loc> <lastmod>2022-06-04</lastmod> </url> </urlset>
Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.
Примечания об XML-файлах Sitemap
- Как и в любых других XML-файлах, все значения тегов необходимо экранировать.
-
Значения в тегах
<priority>
и<changefreq>
игнорируются. -
В Google используется значение в теге
<lastmod>
, если оно всегда является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы).
RSS, mRSS и Atom 1.0
Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что такие фиды предоставляют информацию только о последних URL.
Примечания о файлах RSS, mRSS и Atom 1.0
- Google поддерживает фиды RSS 2.0 и Atom 1.0.
- Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).
- Как и в любых других XML-файлах, все значения тегов необходимо экранировать.
Текстовый формат Sitemap
Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:
https://www.example.com/file1.html https://www.example.com/file2.html
Примечания о текстовых файлах Sitemap
- В файл Sitemap можно добавлять только URL.
- Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение
.txt
(например, sitemap.txt).
Как создать файл Sitemap
Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.
Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.
- Файл Sitemap можно сгенерировать с помощью системы управления контентом.
- Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
- Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.
Как создать файл Sitemap с помощью системы управления контентом
Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в поисковой системе запрос "wix sitemap", а в случае с Blogger – "Blogger RSS".
Как создать файл Sitemap вручную
Если вы планируете добавить в файл Sitemap несколько десятков URL или меньше, его можно создать вручную. Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить данные в новый файл. При этом нужно использовать синтаксис, который описан в разделе Форматы файлов Sitemap выше. Название файла может быть любым, но оно должно состоять только из символов, которые разрешены в URL.
Вручную можно создавать и крупные файлы Sitemap, но это очень трудоемкий процесс, который сложно поддерживать на протяжении долгого времени.
Как создать файл Sitemap автоматически с помощью инструментов
Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов, но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей типовой подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.
Порядок следования URL в файле Sitemap не имеет значения для Google. Не забывайте про требования к размерам файлов Sitemap. Если файл становится слишком большим, его необходимо разбить на более мелкие. Подробнее об управлении крупными файлами Sitemap…
Как сделать файл Sitemap доступным для Google
Помните о том, что файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте. Предоставить Google доступ к файлу Sitemap можно несколькими способами.
- Отправьте файл Sitemap в Search Console с помощью отчета о файлах Sitemap. Благодаря этому вы увидите, когда робот Googlebot получит доступ к файлу Sitemap, а также узнаете о возможных ошибках обработки.
- Используйте Search Console API, чтобы отправить файл Sitemap алгоритмическим методом.
-
Выполните запрос ping. В браузере или командной строке отправьте запрос
GET
на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен роботу Googlebot:https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP
Пример:
https://www.google.com/ping?sitemap=https://example.com/sitemap.xml
-
Вставьте в любом месте файла robots.txt строку с путем к файлу Sitemap (она будет обнаружена при следующем сканировании файла robots.txt). Пример:
Sitemap: https://example.com/my_sitemap.xml
- Если вы используете Atom или RSS и хотите уведомить о внесенных вами изменениях не только Google, но и другие поисковые системы, сделайте это с помощью протокола WebSub.
Как передавать файлы Sitemap на несколько сайтов
Если у вас несколько сайтов, вы можете упростить процедуру создания и отправки файлов Sitemap. Для этого создайте один или несколько файлов со всеми URL и сохраните их в одной папке. Можно выбрать один из перечисленных ниже вариантов:
-
Один файл Sitemap, содержащий URL нескольких сайтов (даже из разных доменов). Например, файл Sitemap, размещенный по адресу
https://host1.example.com/sitemap.xml
, может содержать следующие URL:https://host1.example.com
https://host2.example.com
https://host3.example.com
https://host1.example1.com
https://host1.example.ch
-
Отдельные файлы Sitemap (по одному для каждого сайта) в одном каталоге:
https://host1.example.com/host1-example-sitemap.xml
https://host1.example.com/host2-example-sitemap.xml
https://host1.example.com/host3-example-sitemap.xml
https://host1.example.com/host1-example1-sitemap.xml
https://host1.example.com/host1-example-ch-sitemap.xml
Чтобы передать файлы Sitemap, расположенные в одном каталоге, используйте Search Console или файл robots.txt.
Как отправить файл Sitemap на другой сайт с помощью Search Console
- Убедитесь в том, что вы подтвердили права собственности на все выбранные сайты, которые вы добавили в файл Sitemap.
- Создайте один или несколько файлов Sitemap и включите URL всех сайтов, которые вы хотите охватить. Вы можете добавить файлы Sitemap в файл индекса Sitemap и продолжить работу с этим файлом.
- Отправьте файлы Sitemap или файлы индекса Sitemap с помощью Google Search Console.
Как отправить файл Sitemap на другой сайт с помощью файла robots.txt
- Создайте один или несколько файлов Sitemap для каждого сайта. Убедитесь, что в каждом отдельном файле Sitemap содержатся URL конкретного сайта.
-
Загрузите все файлы Sitemap на один сайт, который вам принадлежит, например
https://sitemaps.example.com
. -
Убедитесь, что каждому файлу Sitemap для отдельного сайта соответствует файл robots.txt. Предположим, вы создали файл Sitemap для сайта
https://example.com/
и разместили его по адресуhttps://sitemaps.example.com/sitemap-example-com.xml
. Тогда в файле robots.txt, размещенном по адресуhttps://example.com/robots.txt
, вы должны сделать запись .# robots.txt file of https://example.com/ sitemap: https://sitemaps.example.com/sitemap-example-com.xml
Устранение неполадок, возникающих при обработке файлов Sitemap
Вы можете устранить неполадки при обработке файлов Sitemap с помощью Google Search Console. Рекомендуем ознакомиться с руководством по устранению неполадок при обработке файлов Sitemap.