Как создать файл Sitemap и сделать его доступным для Google

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Если вы только начинаете работать с файлами Sitemap, ознакомьтесь с общей информацией.

В Google поддерживаются форматы файлов Sitemap, определенные протоколом Sitemap. Каждый формат файлов Sitemap имеет свои преимущества и недостатки. Выберите тот, который лучше всего подходит для вашего сайта и его настроек (для Google нет никакой разницы). В следующей таблице сравниваются различные форматы файлов Sitemap.

Сравнение форматов файлов Sitemap
Файл Sitemap в формате XML	XML-файл Sitemap самый универсальный. Он легко расширяется и может содержать дополнительные данные об изображениях, видео и новостном контенте, а также локализованных версиях страниц сайта. Плюсы Расширяемый и универсальный. Содержит больше всего информации о ваших URL. Пользователи CMS могут легко найти плагины для создания файлов Sitemap. Минусы Такие файлы может быть неудобно использовать. Разметка крупных сайтов или ресурсов, на которых URL часто меняются, отнимает много сил.
RSS, mRSS и Atom 1.0	Файлы Sitemap форматов RSS, mRSS и Atom 1.0 похожи по структуре на XML-файлы Sitemap, но создать их проще всего, так как они автоматически генерируются в системах управления контентом. Плюсы В большинстве систем управления контентом фиды RSS и Atom создаются автоматически. В таких файлах Google может найти информацию о ваших видео. Минусы Помимо HTML и других индексируемых страниц, файлы этого формата могут содержать информацию только о видео, но не об изображениях или новостях. Такие файлы может быть неудобно использовать.
Текстовый файл Sitemap	Самый простой из форматов Sitemap; может содержать только URL HTML-страниц и других индексируемых страниц. Плюсы Легко настроить и обновлять, особенно на крупных сайтах. Минусы Ограничен HTML и другими индексируемыми страницами.

Рекомендации в отношении файлов Sitemap

Рекомендации в отношении файлов Sitemap определяются протоколом Sitemap. Рекомендации, которые чаще всего упускают из виду, связаны с ограничениями по размеру файлов Sitemap, их расположением и содержащимися в них URL.

Ограничения по размеру файлов Sitemap. Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если размер файла или количество URL превышают эти лимиты, разбейте его на несколько частей. При необходимости вы можете создать и отправить в Google файл индекса Sitemap. Можно отправить несколько файлов и индексов Sitemap. Они могут понадобиться, если вам требуется отследить поисковую эффективность каждого файла Sitemap в Search Console.

Расположение и кодировка файлов Sitemap. Файлы Sitemap должны быть в кодировке UTF-8. Файл Sitemap можно разместить в любой части сайта, но если сделать это не через Search Console, то он будет влиять только на каталоги уровнем ниже родительского. Чтобы действие файла Sitemap распространялось на весь сайт, мы рекомендуем располагать его на корневом уровне.

Свойства указываемых URL. В файлах Sitemap следует использовать полные абсолютные URL. Google будет сканировать в точности те URL, которые вы перечислите. Например, если адрес сайта – https://www.example.com/, вместо URL вида /mypage.html (относительный URL) следует указывать полный абсолютный URL: https://www.example.com/mypage.html.

Добавляйте в файл Sitemap те URL, которые хотите видеть в результатах поиска Google. Как правило, Google показывает в результатах поиска канонические URL, на которые можно влиять с помощью файлов Sitemap. Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них. Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.

Полный список рекомендаций можно найти на странице протокола Sitemap.

Файл Sitemap в формате XML

XML-файл Sitemap самый универсальный. Используя поддерживаемые Google расширения файлов Sitemap, вы можете указать дополнительные сведения об изображениях, видео и новостном контенте, а также о локализованных версиях страниц.

Вот пример простого XML-файла Sitemap с одним URL:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/foo.html</loc>
    <lastmod>2022-06-04</lastmod>
  </url>
</urlset>

Подробную информацию и более сложные примеры вы можете найти на сайте sitemaps.org.

Примечания об XML-файлах Sitemap

• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.
• Значения в тегах <priority> и <changefreq> игнорируются.
• Google использует значение в теге <lastmod>, если оно является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы).

RSS, mRSS и Atom 1.0

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что такие фиды содержат информацию только о последних URL.

Примечания о файлах RSS, mRSS и Atom 1.0

• Google поддерживает фиды RSS 2.0 и Atom 1.0.
• Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).
• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.

Текстовый файл Sitemap

Если файл Sitemap содержит только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Например, если на вашем сайте две страницы, то их можно указать в файле Sitemap следующим образом:

https://www.example.com/file1.html
https://www.example.com/file2.html

Примечания о текстовых файлах Sitemap

• В файл Sitemap можно добавлять только URL.
• Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

• Файл Sitemap можно сгенерировать с помощью системы управления контентом.
• Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
• Если ожидается, что файл Sitemap будет достаточно объемным, лучше, чтобы он создавался автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не создает их автоматически. Например, если вы работаете с Wix, введите в поисковой системе запрос "wix sitemap", а в случае с Blogger – "Blogger RSS".

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap несколько десятков URL или меньше, его можно будет создать вручную. Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить в новый файл данные в соответствии с синтаксисом, который описан в разделе Форматы файлов Sitemap выше. Название файла может быть любым, но оно должно состоять только из символов, которые разрешены в URL.

Вручную можно создавать и крупные файлы Sitemap, но это очень трудоемкий процесс, который сложно поддерживать на протяжении долгого времени.

Как создать файл Sitemap автоматически с помощью инструментов

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов, но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей типовой подборкой сторонних генераторов файлов Sitemap, на основе которых можно создать аналогичный инструмент.

Порядок следования URL в файле Sitemap не имеет значения для Google. Не забывайте про требования к размерам файлов Sitemap. Если файл становится слишком большим, его необходимо разбить на более мелкие. Подробнее об управлении крупными файлами Sitemap…

Как сделать файл Sitemap доступным для Google

Помните, что файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте. Предоставить Google доступ к файлу Sitemap можно несколькими способами:

• Отправьте файл Sitemap в Search Console с помощью отчета о файлах Sitemap. Так вы увидите, когда робот Googlebot получит доступ к файлу Sitemap, а также узнаете о возможных ошибках обработки.
• Используйте Search Console API, чтобы отправить файл Sitemap алгоритмическим методом.
• Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен роботу Googlebot:

  https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP

  Пример:

  https://www.google.com/ping?sitemap=https://example.com/sitemap.xml

• Вставьте в любом месте файла robots.txt приведенную ниже строку с путем к файлу Sitemap (она будет обнаружена при следующем сканировании файла robots.txt). Пример:

  Sitemap: https://example.com/my_sitemap.xml

• Если вы используете файлы Sitemap формата Atom или RSS и хотите уведомить о внесенных вами изменениях не только Google, но и другие поисковые системы, воспользуйтесь протоколом WebSub.

Как передавать файлы Sitemap на несколько сайтов

Если у вас несколько сайтов, вы можете упростить процедуру создания и отправки файлов Sitemap. Для этого создайте один или несколько файлов со всеми URL и сохраните их в одной папке. Можно выбрать один из перечисленных ниже вариантов:

• Один файл Sitemap, содержащий URL нескольких сайтов (даже из разных доменов). Например, файл Sitemap, размещенный по адресу https://host1.example.com/sitemap.xml, может содержать следующие URL:
  • https://host1.example.com
  • https://host2.example.com
  • https://host3.example.com
  • https://host1.example1.com
  • https://host1.example.ch
• Отдельные файлы Sitemap (по одному для каждого сайта) в одном каталоге:
  • https://host1.example.com/host1-example-sitemap.xml
  • https://host1.example.com/host2-example-sitemap.xml
  • https://host1.example.com/host3-example-sitemap.xml
  • https://host1.example.com/host1-example1-sitemap.xml
  • https://host1.example.com/host1-example-ch-sitemap.xml

Чтобы передать файлы Sitemap, расположенные в одном каталоге, используйте Search Console или файл robots.txt.

Как отправить файл Sitemap на другой сайт с помощью Search Console

1. Убедитесь в том, что вы подтвердили права собственности на все выбранные сайты, которые вы добавили в файл Sitemap.
2. Создайте один или несколько файлов Sitemap и включите URL всех сайтов, которые вы хотите охватить. Вы можете добавить файлы Sitemap в файл индекса Sitemap и продолжить работу с этим файлом.
3. Отправьте файлы Sitemap или файлы индекса Sitemap с помощью Google Search Console.

Как отправить файл Sitemap на другой сайт с помощью файла robots.txt

1. Создайте один или несколько файлов Sitemap для каждого сайта. Убедитесь, что в каждом отдельном файле Sitemap содержатся URL конкретного сайта.
2. Загрузите все файлы Sitemap на один сайт, который вам принадлежит, например https://sitemaps.example.com.
3. Убедитесь, что файл robots.txt для конкретного сайта указывает на файл Sitemap для этого сайта. Предположим, вы создали файл Sitemap для сайта https://example.com/ и разместили его по адресу https://sitemaps.example.com/sitemap-example-com.xml. Тогда в файл robots.txt, который находится по адресу https://example.com/robots.txt, нужно внести следующую запись:

   # robots.txt file of https://example.com/
   sitemap: https://sitemaps.example.com/sitemap-example-com.xml

Устранение неполадок, возникающих при обработке файлов Sitemap

Вы можете устранить неполадки, возникающие при обработке файлов Sitemap, с помощью Google Search Console. Рекомендуем ознакомиться с руководством по устранению неполадок при обработке файлов Sitemap.