Как составит файл sitemap

Обновил Сергей Алмакин

Даже в 2021 году XML-карта нужна: этот инструмент по-прежнему используется краулерами Google и «Яндекс» – для ускорения индексации и получения технической информации о страницах. Из этой статьи вы узнаете, что такое sitemap.xml, зачем нужна XML-карта сайта, как ее создать и настроить правильно.

Что такое карта сайта, и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Пример автоматической карты сайта, сгенерированной плагином Google (XML) Sitemaps Generator для CMS WordPress

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайтаsitemap.xml

Подробно об этом можно прочитать в справочниках от Google и «Яндекса». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

• Список URL страниц сайта и их иерархия.
• Тип опубликованного контента, например, изображения или видео.
• Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
• Сведения о частоте обновления и последнем обновлении страницы.
• Сведения о приоритетности страницы.
• Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Отсутствие sitemap.xml относится к «возможным» проблемам сайта, но такая проблема не является фатальной или критичной

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

• На сайте есть страницы, на которые нет ссылок с других страниц сайта.
• Сайт очень большой, у него сложная структура.
• Новый сайт.
• Многие страницы сайта регулярно обновляются.
• На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

• XML-Sitemaps.
• XML sitemap generator.
• Online XML sitemap generator.
• My Sitemap generator.

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

Создаем карту сайта

В зависимости от масштабов сайта и суммарного количества страниц придется подождать. От нескольких секунд до нескольких минут:

В нашем случае сканирование сайта с 541 страницей в поиске «Яндекса» заняло около 4 минут. После того, как карта будет сформирована, скачайте файл sitemap.xml на жесткий диск. Для этого нажмите кнопку VIEW SITEMAP DETAILS:

Откроется подробная детализация созданной карты. Можете ознакомиться с ней и затем нажать DOWNLOAD YOU XML SITEMAP FILE:

Загружаем созданный файл на жесткий диск

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой. Еще легче – при помощи файлового менеджера используемого вами хостинга. Например, вот файловый менеджер хостинга Beget:

Если не знаете, где находится корневой каталог сайта, найдите файл index.html или index.php:

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml:

Обязательно отметьте эти четыре чекбокса

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

Отмечаем четыре чекбокса на главной странице настроек плагина

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики, скорее всего, проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее, плагин дает возможность указать эти настройки в карте сайта.

Указываем желаемую частоту индексирования страниц

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Указываем приоритеты индексации

Обратите внимание: время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в Google Search Console и «Яндекс.Вебмастер».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps»:

После активации модуля можно создать карту сайта и настроить ее параметры:

Активируем чекбокс Enable Sitemap

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, то в этом же плагине можно создать карту сайта для видео:

Кроме этого, для создания отдельной карты сайты для видео можно воспользоваться специально предназначенным для этого генератором, например, Sitemap Generator.

Вот генераторы sitemap.xml для других движков:

• Для «Джумлы»: JSitemap.
• Для Drupal: Simple XML sitemap.
• Для OpenCart: FS XML Sitemap Free – sitemap.xml file generator.

После создания карты сайта добавьте ее в Google Search Console и «Яндекс.Вебмастер».

Как добавить карту сайта в Google Search Console и «Яндекс.Вебмастер»

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Добавляем sitemap.xml в Search Console

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

Смотрим отчет об индексировании sitemap.xml

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Если на сайте есть проблемы с индексированием, отчет о карте сайта это покажет

Чтобы добавить sitemap.xml в «Яндекс.Вебмастер», выберите раздел «Индексирование – Файлы Sitemap»:

Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

Добавляем карту сайта в «Яндекс.Вебмастере»

В «Яндекс.Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

С sitemap.xml все в порядке

«Яндекс.Вебмастер» или Search Console Google: какая панель все же лучше (и для каких задач)

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Карта сайта пенсионного фонда РБ

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Simple Sitemap от разработчика David Gwyer или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна >карта сайта.

Карта сайта готова

Вот решения для других CMS:

• OSMap для Joomla.
• Sitemap для Drupal.

В OpenCart карта сайта в формате HTML создается автоматически.

Карта сайта: создать и забыть

Именно так выглядит идеальный алгоритм работы с картой сайта sitemap.xml. Чтобы его реализовать, лучше пользоваться плагинами и модулями для CMS. Они автоматически генерируют файл sitemap.xml и актуализируют его при появлении на сайте новых страниц.

Созданную карту сайта нужно добавить в Search Console и «Яндекс.Вебмастер». После этого о sitemap.xml действительно можно забыть. Если у поисковых систем возникнут проблемы с индексированием карты, они вас уведомят. Чтобы решить проблемы, скорее всего, будет достаточно повторно сгенерировать карту и отправить ее на индексацию.

Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.

Отличие XML-карты сайта от HTML версии

Под термином «карта сайта» понимают 2 вида документов:

На сайте должны присутствовать и HTML карта, и XML. Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.

Синтаксис файла sitemap.xml

Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:

XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:

Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта превышает это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml указать на них ссылки:

XML-карта позволяет экономить краулинговый бюджет

Краулер (паук) — поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это количество страниц за одно посещение робота, для разных сайтов бюджет ограничен — это может быть несколько десятков или сотен документов. Именно поэтому нужно направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добрался до некачественных, малоинформативных, служебных страниц.

Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.

Роботы всех поисковых систем могут самостоятельно обнаружить XML-карту сайта, если она доступна по адресу site.com/sitemap.xml, но есть способы донести до поисковиков важную информацию быстрее.

Как рассказать поисковым роботам о карте сайта

1. Указать ссылку на файл в директиве sitemap файла robots.txt:

2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.

Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.

4 cпособа создать sitemap.xml

При любом способе обратите внимание на следующие моменты:

Рассмотрим подробнее самые популярные способы создания XML-карты.

Онлайн генераторы карты сайта

Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.

Самые популярные:

Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.

Как создать sitemap.xml в разных CMS

Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.

1C-Битрикс: встроенная функция

Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:

Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:

Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:

То же самое проделайте во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Запустить»:

После создания карты сайта вы увидите сообщение, что генерация закончена:

WordPress: используйте плагины

Покажем настройку на примере первого.

Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:

В нем активируем модуль, который отвечает за XML-карту:

После активации модуль становится доступным для редактирования:

Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.

В Yoast SEO карта сайта создается автоматически по адресу site.com/sitemap_index.xml. Модуль также доступен для редактирования или можно оставить настройки по умолчанию.

Модули для других популярных CMS

Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Если вы только начинаете работать с файлами Sitemap, ознакомьтесь с общей информацией.

В Google поддерживаются форматы Sitemap, определенные протоколом Sitemap.
Каждый формат Sitemap имеет свои преимущества и недостатки. Выберите тот из них, который лучше всего подходит для вашего сайта и его настроек (для Google нет никакой разницы). Различные форматы Sitemap сравниваются в следующей таблице.

Сравнение форматов Sitemap
Файл Sitemap в формате XML	XML-файл Sitemap – самый универсальный. Он легко расширяется и может предоставлять дополнительные данные об изображениях, видео и новостном контенте, а также локализованные версии страниц сайта. Плюсы Расширяемый и универсальный. Содержит больше всего информации о ваших URL. Пользователи CMS могут легко найти плагины для создания файлов Sitemap. Минусы Такие файлы могут быть громоздкими в работе. Разметка крупных сайтов или ресурсов, на которых URL часто меняются, отнимает много сил.
RSS, mRSS и Atom 1.0	Файлы Sitemap форматов RSS, mRSS и Atom 1.0 похожи по структуре на XML-файлы Sitemap, но предоставить их проще всего, так как они создаются в CMS автоматически. Плюсы Большинство CMS автоматически создают фиды RSS и Atom. Такие файлы могут предоставлять Google информацию о ваших видео. Минусы Помимо HTML и других индексируемых страниц, формат может содержать информацию только о видео, а не об изображениях или новостях. Такие файлы могут быть громоздкими в работе.
Текстовый формат Sitemap	Самый простой из форматов Sitemap; может лишь содержать URL HTML-страниц и других индексируемых страниц. Плюсы Легко настроить и обновлять, особенно на крупных сайтах. Минусы Ограничен HTML и другими индексируемыми страницами.

Рекомендации в отношении файлов Sitemap

Рекомендации в отношении файлов Sitemap определяются протоколом Sitemap.
Рекомендации, которые чаще всего упускают из виду, связаны с ограничениями по размеру файлов Sitemap, их расположением и URL, которые в них входят.

Ограничения по размеру файлов Sitemap.
Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество URL превышают эти лимиты, разбейте его на несколько частей. Вы можете по желанию создать и отправить в Google файл индекса Sitemap. При необходимости можно отправить несколько файлов и индексов Sitemap. Они могут понадобиться, если вам нужно отследить поисковую эффективность каждого файла Sitemap в Search Console.

Расположение и кодировка файлов Sitemap.
Файлы Sitemap должны быть в кодировке UTF-8. Файл Sitemap можно разместить в любой части сайта, но если сделать это не через Search Console, то он влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне.

Свойства указываемых URL.
В файлах Sitemap следует использовать полные абсолютные URL. Google будет сканировать в точности те URL, которые вы перечислите. Например, если адрес сайта – https://www.example.com/, вместо URL вида /mypage.html (относительный URL) следует указывать полный абсолютный URL: https://www.example.com/mypage.html.

Добавляйте в Sitemap те URL, которые хотите видеть в результатах поиска Google. В общем случае Google показывает в результатах поиска канонические URL, на которые можно влиять с помощью файлов Sitemap. Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них.
Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.

Полный список рекомендаций можно найти на странице протокола Sitemap.

Файл Sitemap в формате XML

XML-файл Sitemap – самый универсальный. Используя поддерживаемые Google расширения файлов Sitemap, вы можете указать дополнительные сведения об изображениях, видео и новостном контенте, а также о локализованных версиях страниц.

Вот пример простого XML-файла Sitemap с одним URL:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/foo.html</loc>
    <lastmod>2022-06-04</lastmod>
  </url>
</urlset>

Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.

Примечания об XML-файлах Sitemap

• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.
• Значения в тегах <priority> и <changefreq> игнорируются.
• В Google используется значение в теге <lastmod>, если оно всегда является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы).

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap.
Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что такие фиды предоставляют информацию только о последних URL.

Примечания о файлах RSS, mRSS и Atom 1.0

• Google поддерживает фиды RSS 2.0 и Atom 1.0.
• Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).
• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.

Текстовый формат Sitemap

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

https://www.example.com/file1.html
https://www.example.com/file2.html

Примечания о текстовых файлах Sitemap

• В файл Sitemap можно добавлять только URL.
• Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

• Файл Sitemap можно сгенерировать с помощью системы управления контентом.
• Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
• Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в поисковой системе запрос “wix sitemap”, а в случае с Blogger – “Blogger RSS”.

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap несколько десятков URL или меньше, его можно создать вручную.
Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить данные в новый файл. При этом нужно использовать синтаксис, который описан в разделе Форматы файлов Sitemap выше. Название файла может быть любым, но оно должно состоять только из символов, которые разрешены в URL.

Вручную можно создавать и крупные файлы Sitemap, но это очень трудоемкий процесс, который сложно поддерживать на протяжении долгого времени.

Как создать файл Sitemap автоматически с помощью инструментов

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов,
но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей типовой подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Порядок следования URL в файле Sitemap не имеет значения для Google. Не забывайте про требования к размерам файлов Sitemap. Если файл становится слишком большим, его необходимо разбить на более мелкие. Подробнее об управлении крупными файлами Sitemap…

Как сделать файл Sitemap доступным для Google

Помните о том, что файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте. Предоставить Google доступ к файлу Sitemap можно несколькими способами.

• Отправьте файл Sitemap в Search Console с помощью отчета о файлах Sitemap.
  Благодаря этому вы увидите, когда робот Googlebot получит доступ к файлу Sitemap, а также узнаете о возможных ошибках обработки.
• Используйте Search Console API, чтобы отправить файл Sitemap алгоритмическим методом.
• Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен роботу Googlebot:

  https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP

  Пример:

  https://www.google.com/ping?sitemap=https://example.com/sitemap.xml

• Вставьте в любом месте файла robots.txt строку с путем к файлу Sitemap (она будет обнаружена при следующем сканировании файла robots.txt). Пример:

  Sitemap: https://example.com/my_sitemap.xml

• Если вы используете Atom или RSS и хотите уведомить о внесенных вами изменениях не только Google, но и другие поисковые системы, сделайте это с помощью протокола WebSub.

Как передавать файлы Sitemap на несколько сайтов

Если у вас несколько сайтов, вы можете упростить процедуру создания и отправки файлов Sitemap. Для этого создайте один или несколько файлов со всеми URL и сохраните их в одной папке. Можно выбрать один из перечисленных ниже вариантов:

• Один файл Sitemap, содержащий URL нескольких сайтов (даже из разных доменов). Например, файл Sitemap, размещенный по адресу https://host1.example.com/sitemap.xml, может содержать следующие URL:
  • https://host1.example.com
  • https://host2.example.com
  • https://host3.example.com
  • https://host1.example1.com
  • https://host1.example.ch
• Отдельные файлы Sitemap (по одному для каждого сайта) в одном каталоге:
  • https://host1.example.com/host1-example-sitemap.xml
  • https://host1.example.com/host2-example-sitemap.xml
  • https://host1.example.com/host3-example-sitemap.xml
  • https://host1.example.com/host1-example1-sitemap.xml
  • https://host1.example.com/host1-example-ch-sitemap.xml

Чтобы передать файлы Sitemap, расположенные в одном каталоге, используйте Search Console или файл robots.txt.

Как отправить файл Sitemap на другой сайт с помощью Search Console

1. Убедитесь в том, что вы подтвердили права собственности на все выбранные сайты, которые вы добавили в файл Sitemap.
2. Создайте один или несколько файлов Sitemap и включите URL всех сайтов, которые вы хотите охватить. Вы можете добавить файлы Sitemap в файл индекса Sitemap и продолжить работу с этим файлом.
3. Отправьте файлы Sitemap или файлы индекса Sitemap с помощью Google Search Console.

Как отправить файл Sitemap на другой сайт с помощью файла robots.txt

1. Создайте один или несколько файлов Sitemap для каждого сайта. Убедитесь, что в каждом отдельном файле Sitemap содержатся URL конкретного сайта.
2. Загрузите все файлы Sitemap на один сайт, который вам принадлежит, например https://sitemaps.example.com.
3. Убедитесь, что каждому файлу Sitemap для отдельного сайта соответствует файл robots.txt. Предположим, вы создали файл Sitemap для сайта https://example.com/ и разместили его по адресу https://sitemaps.example.com/sitemap-example-com.xml. Тогда в файле robots.txt, размещенном по адресу https://example.com/robots.txt, вы должны сделать запись .

   # robots.txt file of https://example.com/
   sitemap: https://sitemaps.example.com/sitemap-example-com.xml

Устранение неполадок, возникающих при обработке файлов Sitemap

Вы можете устранить неполадки при обработке файлов Sitemap с помощью Google Search Console. Рекомендуем ознакомиться с руководством по устранению неполадок при обработке файлов Sitemap.

Для качественного продвижения сайта необходимо, чтобы поисковые системы вовремя узнавали об изменениях в контенте и появлении новых страниц. Если ресурс небольшой (10–20 страниц), можно сообщать об новшествах вручную через консоли поисковых систем. Если чуть больше, это уже сложнее, но реализуемо — с помощью перелинковки и html-карты. А если страниц несколько сотен или тысяч? Тут придёт на помощь файл sitemap.xml.

Зачем нужен sitemap.xml

Файл sitemap в формате xml содержит ссылки на страницы сайта, а также дополнительную информацию для поискового робота.

Не стоит путать карту сайта в формате HTML и sitemap.xml. Первая создаётся в большинстве случаев для людей, вторая — для роботов.

В структуре файла применяется формат разметки XML, который, как и HTML, использует теги. Тег <url> является контейнером, в него помещена вся информация, касающаяся конкретной страницы. Обязателен и тег <loc>, содержащий адрес страницы.

В качестве дополнительной информации могут выступать:

Посредством sitemap.xml можно сообщить роботу ПС об изображениях и видеофайлах, расположенных на ресурсе, что улучшит ранжирование в поиске картинок и видео.

Чем подробнее составлен файл, тем больше информации получит из него робот-краулер, быстрее проиндексирует элементы и добавит в поиск. А значит, потенциальные клиенты увидят самые актуальные сведения.

Как найти sitemap.xml

Как правило, файл располагают в корне сайта, поэтому самый первый и простой способ проверить, есть ли он вообще — набрать в адресной строке:

https://site.ru/sitemap.xml

В этой фразе site.ru нужно заменить вашим доменом.

Если по набранному адресу открылся файл в формате xml или список таких файлов, значит, вы на верном пути!

Но не всегда файл называется именно sitemap.xml, в принципе, он может носить любое название, главное, чтобы он был верно размечен. Но тогда поиск его затрудняется.

Чтобы найти сайтмап, можно заглянуть в файл Robots.txt, там адрес карты может быть уже прописан.

Также, если у вас установлена CMS для сайта и используется инструмент генерации карты, можно посмотреть в его настройках — как правило, там указывается путь или имя сгенерированного файла.

Если вы уже успели подключить консоли поисковых систем (как минимум несколько дней должно пройти с момента подтверждения прав, чтобы информация обновилась), то можно посмотреть адрес карты сайта там, если, конечно, она есть на ресурсе и краулер её нашёл.

И ещё вариант — поискать в файлах сайта. Для этого понадобится зайти в файловый менеджер вашего хостинга и перейти в папку нужного ресурса, посмотреть, есть ли там документы, напоминающие искомый. Не забывайте, что конфигурация сайта может быть довольно сложной, поэтому там могут быть файлы формата xml, не являющиеся картой.

Примеры файла sitemap.xml

Пример правильного файла sitemap.xml для трёх страниц:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://site.ru/</loc>
<lastmod>2023-02-22T10:14:13+04:00</lastmod>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://site.ru/category/</loc>
<lastmod>2023-02-22T10:17:09+04:00</lastmod>
<changefreq>hourly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://site.ru/page/</loc>
<lastmod>2023-02-22T10:19:37+04:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.6</priority>
</url>
</urlset>

Пример файла sitemap.xml для трёх изображений, размещённых на двух страницах:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"      xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://site.ru/page/</loc>
<image:image>
<image:loc>https://site.ru/image1.jpg</image:loc>
</image:image>
<image:image>
<image:loc>https://site.ru/image2.png</image:loc>
</image:image>
</url>
<url>
<loc>https://site.ru/page2/</loc>
<image:image>
<image:loc>https://site.ru/image3.jpg</image:loc>
</image:image>
</url>
</urlset>

Здесь не только указана страница, на которой расположено изображение, но и его прямой адрес с помощью тега <image:loc> в контейнере <image:image>.

Пример файла sitemap.xml для одной страницы с видео:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"   xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<url>
<loc>https://site.ru/page/</loc>
<video:video>       <video:thumbnail_loc>https://site.ru/thumbs/123.jpg</video:thumbnail_loc>
<video:title>How much is the fish?</video:title>
<video:description>Music video for the song by German group Scooter</video:description>
<video:content_loc>
http://site.ru/video123.mp4</video:content_loc>
<video:player_loc>https://site.ru/videoplayer.php?video=123</video:player_loc>
</video:video>
</url>
</urlset>

Здесь в контейнере <video:video> размещены обязательные теги:

Google рекомендует указывать один из тегов: либо video:content_loc, либо video:player_loc. Причём первый наиболее желателен.

Кроме вышеперечисленных тегов есть ещё несколько необязательных, с которыми можно ознакомиться в Справке Google.

Не спешите пугаться нагромождения тегов! Файл типа sitemap в формате xml не придётся составлять вручную — есть сервисы и плагины. Рассмотрим их ниже.

Как сделать Sitemap.xml

Файл можно создать тремя способами — при помощи:

Создание Sitemap.xml с помощью программ

Файл sitemap.xml можно сделать посредством специальных программ, установленных на ПК, например:

Рассмотрим пример использования Sitemap Generator. Это одна из старейших программ такого рода, однако до сих пор популярная, потому что бесплатна и не ограничена по количеству ссылок на сайте.

После установки программы нужно создать новый проект, добавив доменное имя.

В настройках проекта (Project Option) указываем количество потоков сканирования и паузу между обращениями к сайту, исключения и обязательные к добавлению страницы, а также место, с которого следует начинать сканирование (по умолчанию — с главной страницы).

Когда настройка выполнена, нажимаем Run и ожидаем результата. Это займёт продолжительное время, если на ресурсе много страниц.

По окончании сканирования на вкладках отразятся отчёты:

Тут же, на вкладке Final Sitemap, можно скачать карту сайта в формате XML, HTML или TXT. Форматы XML и TXT нужны для роботов, а при HTML карту можно использовать для посетителей сайта (если в ней не очень много страниц — вряд ли человек захочет искать нужную позицию в списке из 1000 пунктов).

При всей простоте у программы есть недостаток — она создаёт только карту сайта, не используя дополнительные свойства, которые крайне желательны для поисковиков.

И второй минус, но уже всех программ-генераторов, — это ручное добавление готового файла на сайт, а также последующая его перегенерация и замена.

Создание Sitemap.xml с помощью онлайн-сервисов

Есть масса онлайн-сервисов, предлагающих создать sitemap.xml для сайта. Они различаются набором функций и стоимостью (на некоторых бесплатно можно создавать сайтмапы с ограниченным количеством ссылок). Примеры онлайн-генераторов:

Два первых — это генераторы, способные самостоятельно просканировать сайт и добавить найденные страницы в sitemap.xml. Последний инструмент генерирует карту сайта только из готового списка ссылок.

Рассмотрим правила и порядок действий на примере генератора Mysitemapgenerator.com.

На главной странице сразу предлагается ввести URL сайта и начать генерацию.

После ввода адреса переходим на страницу, где можем более точно настроить будущий файл:

Когда настройки сделаны, нажимаем кнопку «Старт», ждём и получаем ссылку на скачивание sitemap.xml.

Важно! Имя файла может отличаться от “sitemap”, в таком случае требуется или переименовать, или добавлять в консоли и robots.txt именно это название.

После оформления файла остаётся добавить его на сайт и сообщить поисковым системам о его наличии.

Онлайн-генераторы полезны, если нужно сгенерировать карту, не прибегая к помощи программ или плагинов, они сами просканируют ресурс и выдадут результат.

Как и у программ-генераторов, у онлайн-сервисов есть существенный недостаток — они подключаются к сайту извне, видят только страницы, на которые есть ссылки на самом ресурсе. Как правило, им недоступна служебная дополнительная информация о страницах (дата последнего изменения, приоритет). Следовательно, какие-то страницы могут быть недоступны для добавления, а дополнительные свойства не всегда будут отражать верную информацию. Или придётся для каждой страницы (группы страниц) прописывать свойства вручную, что может занять много времени.

К тому же готовый документ всё равно придётся заливать на сайт через файловый менеджер или FTP-клиент и обновлять вручную, если количество страниц изменится.

Поэтому желательно взять в работу плагины (модули) для системы администрирования сайта, чтобы создавать актуальную и автообновляемую карту XML.

Создание Sitemap.xml с помощью плагина для CMS

Для популярных систем администрирования сайта (CMS) разработаны модули автоматической генерации sitemap.xml. Они либо уже встроены в систему (как в Битрикс: управление сайтом), либо требуют несложной установки (как в Wordpress или Joomla).

В чем плюсы модуля для CMS?

Конечно, есть и минусы:

Поэтому перед генерацией следует хорошо проверить, правильны ли настройки.

Плагины для Bitrix для генерации sitemap.xml:

Плагины для WordPress:

Модули для OpenCart:

Компоненты для Joomla:

Плагины и компоненты сделаны и настроены по-разному, но выполняют одну функцию — создание файла sitemap.xml.

Рассмотрим функционал на примере встроенного плагина для CMS Bitrix. Ищите его в разделе «Маркетинг» — «Поисковая оптимизация» — «Настройка sitemap.xml». Здесь можно добавить несколько вариантов XML-карты на различные случаи.

Настройки:

После выбора нужных настроек следует их сохранить или сохранить и сразу запустить генерацию с помощью кнопки «Сохранить и запустить».

Как проверить Sitemap.xml

Проверить готовый файл sitemap.xml можно с помощью сервиса от Яндекс.Вебмастера. Инструмент предоставляет три варианта проверки — путём:

Когда выбран удобный способ проверки и она запущена, валидатор выдаст результат с перечнем ошибок или уведомление об их отсутствии.

Как добавить Sitemap.xml в консоли поисковых систем

Когда правильный sitemap.xml добавлен на сайт, нужно сообщить поисковым системам.

Первое, что следует сделать, — добавить директиву в robots.txt. Её можно поместить в любой участок файла, т. к. она не привязана к секциям.

Пример robots.txt с директивой Sitemap:

User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml

Важно! Необходимо указывать полный путь к файлу.

Теперь краулеры найдут карту и страницы, указанные в ней. Но чтобы это произошло быстрее, разумно добавить файлы в консоли поисковых систем.

Яндекс.Вебмастер

Чтобы добавить ресурс в консоль Яндекс.Вебмастер, нужно:

Таким образом, краулер Яндекса быстрее узнает о карте сайта. В этом же разделе в будущем можно отправлять на переобход существующие, но обновлённые карты сайта.

Google Search Console

Чтобы сообщить роботу Google о файле sitemap.xml, нужно:

После этого файл добавится в базу, и вы сможете отслеживать его статус и количество выявленных страниц и видео.

Вся соль

Файл sitemap.xml важен для индексирования сайта, поскольку содержит всю необходимую информацию для роботов-краулеров: количество страниц, частота обновления, приоритет и дата последнего изменения. Также можно создать карты сайта для изображений и видео, чтобы улучшить ранжирование.

Сформировать файл помогают специальные программы, онлайн-генераторы и плагины для систем управления сайтом. После этого потребуется добавить документ на ресурс и сообщить об этом поисковым системам посредством robots.txt и консолей.

Если возникают сомнения в корректности настроек индексирования, вы всегда можете обратиться за консультацией к специалистам.