Как нас найти карта сайта новости

Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса. Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

1. Ускорить процесс полной индексации.
   Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
2. Ускорить переклейку.
   Сам Google при редиректе страниц советует сгенерировать XML-карту сайта со старыми URL и отправить ее в консоль Google. Например, так стоит сделать при переезде на https. Это поможет быстро переклеить URL на новые.
3. Повысить вероятность признания страницы канонической.
   Наличие адреса страницы в XML-карте увеличивает шанс, что среди дублей бот признает именно эту страницу каноничной, то есть первоисточником.
4. Дать дополнительную информацию.
   В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
5. Отобразить количество проиндексированных URL
   Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
6. Ускорить процесс пакетной деиндексации.
   Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Как проверить, в индексе ли страница сайта

Карта обязательно нужна сайтам с такими признаками:

• Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
• В структуре сайта много архивов веб-документов, не связанных между собой.
• У проекта большое количество страниц, разделов и подразделов;
• В структуре преобладают динамические страницы.
• На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
5. Ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
6. URL идентификаторы сессий не должны быть в Карте сайта.
7. Ссылки должны иметь одинаковый синтаксис.
8. В Карте указаны только канонические URL.
9. Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

• — контейнер с указанием стандарта протокола;
• — родительский тег для каждой записи URL-адреса;
• — указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• — частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• — дата последнего обновления на странице;
• — указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.pr-cy.ru/</loc>
<lastmod>2016-03-21</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

• XML-Sitemaps
  Сделает Карту для небольших сайтов до 500 страниц бесплатно и без регистрации, для обновляемого файла с большим количеством страниц нужно подключить PRO-аккаунт, которые дает много дополнительных преимуществ с анализом ссылок. Есть PHP-скрипт для установки на своем сервере.
• Генератор СайтРепорт
  Бесплатное онлайн-создание файла карты до 5000 страниц.



• MySitemapGenerator
  Бесплатно составит карту до 500 страниц, 2,5 доллара стоит генерация файла до миллиона страниц и создание карты с неограниченным количеством ссылок и автоматическим обновлением по расписанию стоит 4 доллара в месяц.
• Xml Sitemap Generator
  Бесплатно генерирует HTML, RSS и Google XML-карты сайта. Есть онлайн-режим, плагин для WordPress и возможность скачать программу для Windows.

CMS-плагины для создания Sitemap

WordPress: Xml Sitemap Generator, SEO Plugin Rank Math, YOAST SEO, All in One SEO Pack.

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

 Sitemap: http://www.pr-cy.ru/sitemap.xml

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.

Карта сайта (sitemap) — это файл или страница с кликабельным перечнем всех важных разделов сайта. 

Карта сайта похожа на содержание или оглавление в книге. Она помогает пользователям быстро находить нужную информацию.

Кроме того, sitemap полезна для SEO, так как позволяет ускорить индексацию страниц поисковыми системами. 

Для чего нужна карта сайта

Представим, что вы зашли на сайт Forbes, чтобы почитать статьи о личных финансах. Но на главной странице нет даже намека на этот раздел. Непонятно, куда нажимать и как искать.

Поисковые роботы тоже работают «вслепую». Они рандомно изучают контент — часть страниц так и остается неизученной. 

Поэтому и роботам, и людям нужен своеобразный путеводитель, который поможет точно и быстро изучить ресурс. А еще — найти нужную страницу в два клика. 

Карта сайта — это и есть путеводитель, который: 

• делает сайт удобным для посетителей;
• позволяет роботам корректно сканировать страницы;
• ускоряет индексацию контента.

Кроме того, карта сайта дает роботам важные данные. Например, сведения о последних обновлениях или типе контента. 

Какие бывают карты сайта

Есть два вида sitemap. Формат HTML предназначен для людей. Улучшить проверку структуры сайта роботами поможет XML карта. 

HTML

Такая карта нужна, чтобы визуализировать структуру сайта для пользователей. Ее задача — помочь с навигацией и поиском, поэтому HTML-карта должна быть простой, подробной и наполненной.

HTML-карту обычно оформляют в том же стиле, что и весь сайт. Она должна автоматически обновляться и отражать актуальную информацию. 

Допустим, вы продаете кровати «Амелия». Навигация на сайте может быть такой: 

Главная страница → раздел «Мебель из дерева→ категория «Мебель для спальни» → подкатегория «Кровати» → подкатегория «Кровати Амелия».

С картой сайта навигация станет намного проще: нужный раздел будет доступен за пару кликов.

Особенности HTML-карты: 

• четкая и понятная структура;
• доступ для всех пользователей;
• простое оформление. 

Главная ошибка при создании HTML-карты — забыть о ее главном назначении. Стоит отказаться от ярких картинок или подписей — они отвлекают пользователя. Простого и структурированного оглавления будет достаточно. 

Ссылки в карте сайта должны быть активными, чтобы пользователи могли сразу же переходить в нужный раздел. 

В HTML-map стоит добавлять только самые значимые страницы. Например: 

• разделы;
• подразделы;
• контактные данные.

Количество разделов зависит от объема данных. Если сайт небольшой, можно оставить ссылки на все опубликованные материалы. Если информации много, стоит выделить самое важное. 

Можно разработать несколько HTML-карт одновременно — никакого запрета нет. Стоит учитывать, насколько удобно пользоваться ресурсом. Если у вашего сайта сложная иерархия и множество страниц, сделайте sitemap для каждого раздела отдельно. Это особенно удобно для онлайн-магазинов с большим количеством товаров. 

Если сайт имеет простую структуру и число ссылок не превышает 100, достаточно одной HTML-карты. 

XML

Sitemap в таком формате используют поисковые системы. Обычно данные файлы скрыты от пользователей и предназначены только для роботов. 

XML-карта помогает быстро проиндексировать ресурс. С ее помощью роботы-поисковики узнают важные данные. Например, информацию о последних обновлениях или приоритете каждой страницы. 

XML-map не гарантирует, что роботы-поисковики будут точно следовать указаниям в ней. Однако найти обновления им будет гораздо проще. 

Для быстрого анализа нужных данных в карте используют следующие теги: 

• <url> — контейнер с тегами по конкретному адресу;
• <lastmod> — говорит о последних изменениях;
• <loc> — указывает на url страницы.

Структура каждого файла состоит из нескольких тегов. В начале ставится тег <urlset>. В конце — закрывающий </urlset>. Внутри тега urlset размещается тег url. 

Url — это контейнер, внутри которого находятся теги, касающиеся конкретного адреса страницы. Loc — и есть этот адрес. Выглядит это так: 

<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>

   <url>

      <loc>http://www.example.com/</loc>

      <lastmod>2023-02-15</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

</urlset>

<loc>, <url> и <urlset> — обязательные теги для каждой sitemap. Есть и необязательные, например  <priority>. Он используется для того, чтобы пометить наиболее важные для сканирования страницы.

Есть и другие специальные теги. Например, о частоте изменений сообщает тег <changefreq>.

Один из наиболее частых вопросов — в каком формате создавать карту сайта. Все зависит от наполнения ресурса и количества опубликованных данных.

Лучшее решение — сгенерировать и HTML, и XML sitemap. Это упростит как работу поисковых роботов, так и навигацию по сайту. 

Каким сайтам требуется sitemap

Карта сайта особенно необходима следующим ресурсам: 

• Новым сайтам. Наличие sitemap поможет быстрее попасть в результаты поиска по ключевым запросам. 
• Ресурсам с десятками разделов. Например, онлайн-магазинам или онлайн-энциклопедиям лучше создать карту и тем самым облегчить пользователям и роботам поиск контента.
• Сайтам без перелинковки. Отсутствие внешних ссылок усложняет задачу для роботов: трудно найти не только нужный контент, но и сам ресурс. 
• Сайтам с мультимедиа. Например, новостным ресурсам с картинками, видео и аудио sitemap поможет продвигать контент в поисковой выдаче. 
• Сайтам с постоянно обновляющимся контентом. 

HTML-карта — must have для сайтов с нарушенной иерархией и разрозненными разделами. Ресурсам с продуманной навигацией и логичной структурой достаточно создать XML-карту для поисковых роботов. 

Лендингам sitemap не требуется — пользователи могут справиться самостоятельно без оглавления. То же самое касается сайтов-визиток. 

Как создать карту сайта

Сгенерировать HTML-sitemap можно:

Вручную. Однако это сложно и трудозатратно. Sitemap должна постоянно меняться при добавлении информации или дополнении разделов. Придется каждый раз обновлять файлы. Плюс потребуется опыт работы с HTML.

Автоматически с помощью онлайн-сервисов. Можно найти как бесплатные, так и более продвинутые инструменты. Например в сервисе mysitemapgenerator есть как бесплатный тариф, так и платная подписка.

Можно использовать Octopus, Web-технологии и другие сервисы. С помощью данных инструментов карту сайта создаст даже новичок.

В случае с XML sitemap ситуация такая же. Можно создать ее самостоятельно, но этот вариант займет немало времени и не подойдет новичкам: требуются определенные знания. 

Другой вариант — воспользоваться специальными сервисами. Есть как бесплатные инструменты, так и программы с платной подпиской. Например, сервис Sitemap Generator позволяет создать карту сайта даже без регистрации. Чтобы сгенерировать sitemap, нужно просто заполнить нужные данные.

Еще один способ — воспользоваться CMS-плагинами. Есть варианты с разным набором функций. Например, для WordPress используют Yoast SEO и XML Sitemaps. 

Чего не стоит добавлять в карту сайта

При создании sitemap следует учитывать, что она влияет на поисковую выдачу, поэтому некоторые страницы вносить туда не рекомендуется: 

• Технические файлы со служебной информацией. 
• Устаревшие страницы.
• Удаленные страницы 404. Также не стоит добавлять защищенные паролем данные с кодом 401.
• «Мусор». Дубли и прочую бесполезную для поисковика информацию. 

Главные мысли:

Файл Sitemap XML — самый функциональный формат карты сайта, существенно облегчающий работу поисковым роботам. Для создания, настройки и проверки файлов Sitemap в формате XML требуются знания и практические навыки.

Содержание

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
...
</urlset>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    ...
  </url>
</urlset>

<url>
   <loc>http://site.net</loc>
</url>

<url>
    <loc>http://site.net</loc>
    <lastmod>2005-01-01</lastmod>
</url>

  <url>
   <loc>http://site.net</loc>
   <changefreq>weekly</changefreq>
</url>

<url>
	<loc>http://site.net</loc>
	<priority>0.5</priority>
</url>

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

 <url>
  <loc>http://site.net</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.5</priority>
 </url>

</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><!--Открывает список URL-адресов-->

 <url><!--Открывает список значений для URL-->
  <loc>http://site.net</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>monthly</changefreq><!--Регулярность обновлений (в данном случае ежемесячно)-->
  <priority>0.5</priority><!--Приоритет URL (в данном случае не актуален, т. к. страница только одна)-->
 </url><!--Закрывает список значений для URL-->

</urlset><!--Закрывает список-->

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

 <url>
  <loc>http://site.net</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.5</priority>
 </url>
 
 <url>
  <loc>http://site.net/uslugi</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>weekly</changefreq>
  <priority>1.0</priority>
 </url>
 
 <url>
  <loc>http://site.net/kontakty</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>yearly</changefreq>
  <priority>0.5</priority>
 </url>

</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><!--Открывает список URL-адресов-->

 <url><!--Открывает список значений для URL-->
  <loc>http://site.net</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>monthly</changefreq><!--Регулярность обновлений (ежемесячно)-->
  <priority>0.5</priority><!--Приоритет перед другими страницами =0.5-->
 </url><!--Закрывает список значений для URL-->
 
  <url><!--Открывает список значений для URL-->
  <loc>http://site.net/uslugi</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>weekly</changefreq><!--Регулярность обновлений (еженедельно)-->
  <priority>1.0</priority><!--Приоритет перед другими страницами =1.0 (высший)-->
 </url><!--Закрывает список значений для URL-->
 
 <url><!--Открывает список значений для URL-->
  <loc>http://site.net/kontakty</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>yearly</changefreq><!--Регулярность обновлений (ежегодно)-->
  <priority>0.5</priority><!--Приоритет перед другими страницами =0.5-->
 </url><!--Закрывает список значений для URL-->

</urlset><!--Закрывает список URL-адресов-->

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
  <loc>http://site.net</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>yearly</changefreq>
  <priority>0.5</priority>
 </url>
</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"
xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
>
<url>
 <loc>http://site.net</loc>
 <image:image>
  <image:loc>http://site.net/image.jpg</image:loc>
  <image:caption>Подпись к изображению</image:caption>
 </image:image>
 
 <video:video>
  <video:content_loc>http://site.net/video-1.flv</video:content_loc>
  <video:player_loc allow_embed="yes" autoplay="ap=1">
   http://site.net/videoplayer.swf?video=1
  </video:player_loc>
  <video:thumbnail_loc>http:/site.net/thumbs/1.jpg</video:thumbnail_loc>
  <video:title>Название видео</video:title>
  <video:description>Краткое описание видео</video:description>
 </video:video>
 
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>

</url>
</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<urlset 
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"
>
<url>
 <loc>http://site.net</loc>
 <image:image>
  <image:loc>http://site.net/image.jpg</image:loc>
  <image:title>Название изображения</image:title>
  <image:caption>Подпись к изображению</image:caption>
  <image:geo_location>Геолокация объекта изображения</image:geo_location>
 </image:image>
 <lastmod>2005-01-01</lastmod>
 <changefreq>monthly</changefreq>
 <priority>0.8</priority>
</url>
</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
>
<url> 
 <loc>http://site.net/page.html</loc>
 <video:video>
  <video:thumbnail_loc>http://site.net/thumbs/1.jpg</video:thumbnail_loc>
  <video:title>Video Title</video:title>
  <video:description>Описание видеоролика</video:description>
  <video:content_loc>http://site.net/video1.flv</video:content_loc>
  <video:player_loc allow_embed="yes" autoplay="ap=1">
   http://site.net/videoplayer.swf?video=123</video:player_loc>
  <video:duration>600</video:duration>
  <video:expiration_date>2009-11-05T19:20:30+08:00</video:expiration_date>
  <video:rating>4.2<video:rating>
  <video:view_count>12345</video:view_count>   
  <video:publication_date>2007-11-05T19:20:30+08:00</video:publication_date>
  <video:family_friendly>yes</video:family_friendly>  
  <video:restriction relationship="allow">IE GB US CA</video:restriction>
  <video:gallery_loc title="Поисковая оптимизация">http://seo.site.net</video:gallery_loc>
  <video:price currency="RUB">1.99</video:price>
  <video:requires_subscription>yes</video:requires_subscription>
  <video:uploader info="http://site.net/users/vpupkin">
   Vasya Pupkin
  </video:uploader>
  <video:live>no</video:live>
 </video:video> 
</url> 
</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:news="http://www.google.com/schemas/sitemap-news/0.9"
>
<url>
 <loc>http://site.net</novost>
 <news:news>
  <news:publication>
   <news:name>Известия</news:name>
   <news:language>ru</news:language>   
  </news:publication>
  <news:genres>PressRelease, Blog</news:genres>
  <news:publication_date>2005-01-01</news:publication_date> 
  <news:title>Название новости</news:title>  
  <news:keywords>ключ, ключ, ключ</news:keywords> 
  <news:stock_tickers>NASDAQ:AMAT</news:stock_tickers>  
 </news:news>
</url>
</urlset>

Обновил Сергей Алмакин

Даже в 2021 году XML-карта нужна: этот инструмент по-прежнему используется краулерами Google и «Яндекс» – для ускорения индексации и получения технической информации о страницах. Из этой статьи вы узнаете, что такое sitemap.xml, зачем нужна XML-карта сайта, как ее создать и настроить правильно.

Что такое карта сайта, и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Пример автоматической карты сайта, сгенерированной плагином Google (XML) Sitemaps Generator для CMS WordPress

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайтаsitemap.xml

Подробно об этом можно прочитать в справочниках от Google и «Яндекса». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

• Список URL страниц сайта и их иерархия.
• Тип опубликованного контента, например, изображения или видео.
• Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
• Сведения о частоте обновления и последнем обновлении страницы.
• Сведения о приоритетности страницы.
• Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Отсутствие sitemap.xml относится к «возможным» проблемам сайта, но такая проблема не является фатальной или критичной

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

• На сайте есть страницы, на которые нет ссылок с других страниц сайта.
• Сайт очень большой, у него сложная структура.
• Новый сайт.
• Многие страницы сайта регулярно обновляются.
• На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

• XML-Sitemaps.
• XML sitemap generator.
• Online XML sitemap generator.
• My Sitemap generator.

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

Создаем карту сайта

В зависимости от масштабов сайта и суммарного количества страниц придется подождать. От нескольких секунд до нескольких минут:

В нашем случае сканирование сайта с 541 страницей в поиске «Яндекса» заняло около 4 минут. После того, как карта будет сформирована, скачайте файл sitemap.xml на жесткий диск. Для этого нажмите кнопку VIEW SITEMAP DETAILS:

Откроется подробная детализация созданной карты. Можете ознакомиться с ней и затем нажать DOWNLOAD YOU XML SITEMAP FILE:

Загружаем созданный файл на жесткий диск

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой. Еще легче – при помощи файлового менеджера используемого вами хостинга. Например, вот файловый менеджер хостинга Beget:

Если не знаете, где находится корневой каталог сайта, найдите файл index.html или index.php:

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml:

Обязательно отметьте эти четыре чекбокса

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

Отмечаем четыре чекбокса на главной странице настроек плагина

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики, скорее всего, проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее, плагин дает возможность указать эти настройки в карте сайта.

Указываем желаемую частоту индексирования страниц

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Указываем приоритеты индексации

Обратите внимание: время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в Google Search Console и «Яндекс.Вебмастер».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps»:

После активации модуля можно создать карту сайта и настроить ее параметры:

Активируем чекбокс Enable Sitemap

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, то в этом же плагине можно создать карту сайта для видео:

Кроме этого, для создания отдельной карты сайты для видео можно воспользоваться специально предназначенным для этого генератором, например, Sitemap Generator.

Вот генераторы sitemap.xml для других движков:

• Для «Джумлы»: JSitemap.
• Для Drupal: Simple XML sitemap.
• Для OpenCart: FS XML Sitemap Free – sitemap.xml file generator.

После создания карты сайта добавьте ее в Google Search Console и «Яндекс.Вебмастер».

Как добавить карту сайта в Google Search Console и «Яндекс.Вебмастер»

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Добавляем sitemap.xml в Search Console

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

Смотрим отчет об индексировании sitemap.xml

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Если на сайте есть проблемы с индексированием, отчет о карте сайта это покажет

Чтобы добавить sitemap.xml в «Яндекс.Вебмастер», выберите раздел «Индексирование – Файлы Sitemap»:

Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

Добавляем карту сайта в «Яндекс.Вебмастере»

В «Яндекс.Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

С sitemap.xml все в порядке

«Яндекс.Вебмастер» или Search Console Google: какая панель все же лучше (и для каких задач)

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Карта сайта пенсионного фонда РБ

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Simple Sitemap от разработчика David Gwyer или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна >карта сайта.

Карта сайта готова

Вот решения для других CMS:

• OSMap для Joomla.
• Sitemap для Drupal.

В OpenCart карта сайта в формате HTML создается автоматически.

Карта сайта: создать и забыть

Именно так выглядит идеальный алгоритм работы с картой сайта sitemap.xml. Чтобы его реализовать, лучше пользоваться плагинами и модулями для CMS. Они автоматически генерируют файл sitemap.xml и актуализируют его при появлении на сайте новых страниц.

Созданную карту сайта нужно добавить в Search Console и «Яндекс.Вебмастер». После этого о sitemap.xml действительно можно забыть. Если у поисковых систем возникнут проблемы с индексированием карты, они вас уведомят. Чтобы решить проблемы, скорее всего, будет достаточно повторно сгенерировать карту и отправить ее на индексацию.

Карта сайта в формате XML должна быть на любом сайте, это как минимум правило хорошего тона для вебмастера. Кроме этого, sitemap помогает поисковым машинам в скорешей индексации сайта, потому как роботы поисковых систем постоянно обходят URL адреса из карты сайта.

Технически реализовать карту сайта не сложно, в популярных CMS есть для этого плагины. Однако с настройкой sitemap нужно быть осторожным. Если в карту сайта попадет мусор (изображения, PDF файлы, технические страницы, несуществующие страницы) — они все будут просканированы и возможно проиндексированы. При этом сканироваться мусорные урлы робот будет постоянно. А так как большинство таких страниц недостаточно качественные — они не будут участвовать в результатах поиска, но поисковая машина будет о них знать, что понизит общий рейтинг сайта.

Содержание:

Зачем нужна карта сайта и нужна ли они вообще?

Основное назначение карты сайта — дать поисковому роботу полный список страниц (адресов изорбражений, видео, файлов), которые ему следует обходить и индексировать. По умолчанию предполагается, что если УРЛ есть в карте сайта — его надо обходить и индексировать. В общем, это инструмент сканирования и индексирования.

Его можно использовать на сайте любого размера, но на небольших сайтах с логичной структурой, хорошей перелинковкой, небольшим уровнем вложенности страниц можно обойтись без карты сайта.

Наличие или отсутствие карты сайта не влияет на ранжирование.

Лучшая практика — это карта сайта в формате XML, но есть и дрегие форматы.

Яндекс, к примеру, допускает использование фалов sitemap в формате txt.

Google тоже допускает использование формата txt, а также использование фидов (не подойдет для Яндекса). Довольно подробно здесь.

XML рекомендованный, но не единственный

Яндекс об этом заявляет прямо — использование XML рекомендуется. Google говорит нам о том, что использование txt формата возможно только для указания адреса страницы. Но обычно нам важно передать как можно больше информации поисковой системе, а формат XML как раз позволяет нам это сделать — передать дату последнего измнения контента на странице, приоритет сканирования (рекомендация по частоте сканирования для робота), другую информацию.

Какие бывают карты сайта

Помимо обычной карты сайта протокол sitemap позволяет реализовать еще следующие виды sitemap

Sitemap для изображений

Первым, как и практические всё в интернете, карту сайта для графического контента начал использовать Google. Это создавало некоторые проблемы
отечественным веб мастерам, поскольку валидацию в Яндексе такая карта сайта не проходила, а популярные плагины (например YoastSEO для wordpress) генерировали карту сайта для изображений внутри основной карты сайта (что допустимо было раньше для Google, если вникнуть в документацию Google и что допустимо сейчас для обоих ПС). Так как Яндекс не поддерживал пространство имен sitemap image, то в Веб Мастере вылазили ошибки.

Сейчас Яндекс поддерживает пространство имен, разработанное Google для sitemapimage.

Sitemap для видео контента

Эта история поддерживается только Google, технологии индексации видео контента Яндекса пока не связаны с файлами sitemap. Документация по этому файлу от Google лежит здесь

Еще один инструмент, рекомендуемый Google для улучшения рейтингов в выдаче видео контента — использование микроразметки.

Пространство имен для Sitemap Video также создано Google.

Sitemap для новостей

Из названия понятно, что это для новостей и, конечно, только для Google новостей. Яндекс ходит мимо и будет ругаться на такую карту сайта. Подходит для новостных порталов и сайтов с большим потоком новостей или другого текстового контента. Согласно рекомендациям в sitemap news не должно быть записей старше двух дней.

Index Sitemap

Не то, чтобы это отдельный вид карты сайта. Дело в том, что файл sitemap имеет вполне физические ограничения — не более 50000 урлов, вес не более 50Мб. Понятно, что есть сайты с гораздо большим количеством урлов и для этого создатели протокола sitemap придумали индексные карты сайта. SitemapIndex по сути представляет из себя карту сайта с картами сайта. Выглядит это так:

Многие CMS имеют встроенные инструменты генерации sitemap и многие же из них делают по умолчанию индекс, вне зависимости от размера сайта. Так делает BitrixCMS, практически все плагины для WordPress. Это удобно в том понимании, что веб мастеру не нужно создавать индекс, когда это «вдруг» потребуется, но с файлами будет сложнее работать.

Где располагается файл с картой сайта?

Обычно карта сайта располагается по адресу https://site.ru/sitemap.xml, но это вовсе не обязательно. Карту сайта можно расположить на любом адресе. При этом, есть несколько способов указать поисковым машинам на адрес расположения карты сайта:

В файле robots.txt

В этом файле можно указать на адрес карты сайта, его постоянно просматривают роботы, где для них содержатся инструкции по сканированию сайта.

В панелях для веб мастеров

Яндекс Вебмастер

В яндекс веб мастере это раздел индексирование -> файлы sitemap

Перед добавлением ссылки на файл последний можно проверить теми же сервисами Яндекса, здесь для не авторизованных пользователей, для авторизованных в ВебМастере можно проверить как указано на картинке.

Обратите внимание на то, что проверить карту сайта можно тремя способами — проверить файл, проверить сам код (или его кусок), либо проверить URL. В большинстве случаев достаточно проверить URL, поскольку сам файл формируется инструментами CMS, а на его содержимое можно влиять лишь в контексте попадания или не попадания конкретной страницы в файл sitemap.

Однако, если Вы разрабатываете свой собственный модуль для формирования карты сайта, у Вас самописная CMS, или к карте сайта есть определенные технические требования (например совместить карту сайта страниц и карту сайта для изображений), то тогда есть смысл проверять на валидность как сам файл, так и отдельные его куски.

На всякий случай, если Вы еще не видели документацию по протоколу Sitemap — она здесь https://www.sitemaps.org/ru/protocol.html.

Google Search Console

В SearchConsole, разумеется, тоже можно добавить файлы sitemap и в некотором смысле Google дает нам больше инструментов для управления индексированием через sitemap. Добавить можно как указано на изображении ниже

Настройка Sitemap xml — различные способы

Часто у веб мастеров возникают вопросы об организации файлов sitemap в случае, если используются несколько видов файлов на одном сайте. Но начнем с простого

Один обычный sitemap.xml

Проще всего разместить файл в директории «по умолчанию» site.ru/sitemap.xml. Далее следует указать адрес карты сайта в файле robots.txt и панелях веб мастеров. Все будет ок, только периодически надо проверять, обновляется ли сам файл.

Одновременно используются sitemap.xml и sitemap image

Сейчас, когда Яндекс стал поддерживать пространство имен, разработанное Google вариантов стало несколько.

Сделать и страницы и изображения в одном файле

Выглядеть это будет примерно так:

[php]
<?xml version=»1.0″ encoding=»UTF-8″?>
<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″
xmlns:image=»http://www.google.com/schemas/sitemap-image/1.1″>
<url>
<loc>http://site.ru/page/</loc>
<image:image>
<image:loc>http://site.ru/kartinka.jpg</image:loc>
</image:image>
<image:image>
<image:loc>http://site.ru/photo.jpg</image:loc>
<image:title>Работа в Париже</image:title>
<image:geo_location>Париж, Франция</image:geo_location>
</image:image>
</url>
</urlset>
[/php]

В этой карте размещена одна ссылка на страницу и адреса с файлами изображений.

Соответственно, мы можем помимо адреса самой страницы передавать поисковику и информацию об изображениях, размещенных на этой странице.

Это корректный способ использоватения по сути двух видов файла в одном. Однако он не самый оптимальный, поскольку управлять измнеениями в такой реализации будет сложно. На наш взгляд оптимальный следующий способ:

Сделать отдельные файлы

Понятно, что можно генерировать два файла, один для изображений, другой для страниц. Более того, возможно и допустимо генерировать разные файлы для разных роботов, если для продвижения используются сложные схемы управления индексированием и этот процесс разделяется для Яндекса и Гугла.

В этом случае нужно не указывать на файл sitemap в файле robots.txt, а в панелях для веб мастеров указать адреса сайтмапов для той или иной поисковой системы.

Вот как это выглядит

Конкретно здесь такая реализация из-за того, что Яндекс некоторое время назад еще не поддерживал пространство имен для Sitemap image, поэтому мы и не добавили эту карту сразу в robots, а добавили только в GSC. Когда Яндекс стал поддерживать этот формат мы добавили карту через ЯВМ, ибо так быстрее.

Сейчас можно в файл robots.txt добавлять несколько ссылок на файлы карты сайта и поисковые системы обойдут их все.

В файле robots.txt

Обычный файл robots для обычного сайта выглядит стандартно. Как правило в таком обычном файле директивы используются для всех Usar-agent, в том числе ссылка на карты сайта для всех роботов одна.

При этом надо понимать, что сканированием графического контента на сайте занимаются специальные роботы — Googlebot-Image и YandexImages. Для этих агентов можно прописать свои директивы и свои карты сайта.

Индекс и много файлов

Индекс сам по себе предполагает несколько файлов внутри. Однако по нашему мнению не стоит в индекс вкладывать ссылки на файлы sitemap для изображений, видео и новостей, а расположить их отдельными файлами и добавить в панелях веб мастеров.

Вот так выглядит индекс карты сайта в Веб мастере

А вот так в GoogleSearchConsole

Файлы внутри индекса технически не считаются как отдельные карты сайта, поэтому Яндекс предлагает к индексному файлу добавить еще 10 ссылок на файлы sitemap

Так что индекс — хорошо, но для специфичного контента лучше делать свои отдельные файлы, не входящие в основной индекс. Кроме того, ничто не мешает веб мастеру делать индексы для разных типов карт сайта, если он имеет дело с очень большим количеством контента.

Как и для чего исследовать sitemap.xml

Первое, что я делаю, когда делаю технический аудит сайта — открываю его sitemap и рассматриваю его пару минут. Жестянка сразу бросается в опытный глаз.

Но ищем сейчас мы вовсе не жестянку, а исследуем сайт на потенциальные проблемы с индексированием, а учитывая общий уровень веб мастеров в России, да и за рубежом, честно говоря, эти проблемы касаются каждого второго сайта. Считаем количество URL в карте сайта и в индексе. Если разница большая (а большая она может быть в любую сторону) — надо выявлять проблему дальше, возможно она напрямую и не связана с sitemap. Тут уже следует смотреть взаимосвязи, потому как SEO — это явно рефлексивный процесс.

Использование sitemap — серьезный инструмент по управлению индексированием страниц сайта. Если у Вас большой сайт с регулярным добавлением нового контента в значительной объеме — этот инструмент едва ли не самый главный в работе веб мастера

Естественно, что файл sitemap должен состоять только из тех страниц, которые должны быть проиндексированы поисковыми системами. Но так получается не всегда. Сейчас мы разберем наиболее частые ошибки, которые встречаются при работе с sitemap.xml

Протокол, зеркало

Довольно часто встречается история, когда сайт доступен по протоколу https, а URL в карте сайта строятся по протоколу http

В данному случае проблема в скрипте. Разработчик указал протокол вручную и когда сайт переехал на https никто не обратил внимание на файл sitemap. То же самое касается и другого зеркала — сайта с www или без www.

В общем, при исследовании Вашего sitemap обратите внимание на то, чтобы был корректный адрес страниц.

Лишние страницы, технические страницы, заброшенные страницы

Часто в карте сайта, которому не повезло попасть в руки нормальных SEOшников встречаются страницы, которых там не должно быть. Причин на это может быть множество:

• Особенности работы CMS
• Особенности работы скрипта
• Наличие на сайте брошенных, старых страниц, страниц, созданных для тестов и т.д.

Вне зависимости от природы этих ошибок результат всегда один — попадание в sitemap того, что не должно быть там. Только что попросили сделать аудит одного сайта и тут есть что показать Вам. Давайте смотреть картинки.

Видим, что есть некая страница с URL /404. Идем по адресу и…

Есть даже некая ирония в том, что страница 404 возвращает код ответа 200 (а должна 404, если что). Дело в том, что таких страниц на этом сайте, непонятных, которые в принципе не нужны ни пользователю, ни поиску, ни кому другому несколько. Все они явно недостаточно качественные для индексации, все они не должны ранжироваться и это понимает поисковая система. Если таких страниц у нас 2-3 — ничего страшного, а если 200?

Верный код ответа сервера

Что такое код ответа сервера?
Подробно обсуждать коды ответов сервера мы здесь не будем. Если коротко, то все все страницы, входящие в sitemap должны возвращать код ответа сервера 200. Проверить код ответа сервера можно при помощи сервиса Яндекса здесь

Если сайт создан давно, то есть смысл исследовать страницы из карты сайта на предмет кода ответа, потому что запросто может быть как 404 (страница фактически удалена, но почему-то застряла в карте), так и 301 (поменяла адрес по разным причинам). Это самые популярные альтернативы 200-му ответу, но может быть вообще все что угодно. За это мы и любим веб технологии, — здесь полно сюрпризов и всякой жести порой. И это классно.

Проще всего коды ответа сервера урлов из sitemap проверить используя ScreamingFrog.

Страницы так или иначе скрытые от сканирования или индексации

В файле robots можно закрывать от сканирования (НЕ ОТ ИНДЕКСАЦИИ) как отдельные страницы, так и целые папки. Но надо быть последовательным и исключить их из карты сайта. Потому что робот приходит сначала в robots, а потом идет в sitemap и видит закрытые от сканирования страницы… То же самое касается, если Вы управляете индексированием с помощью мета тега robots, или заголовков X-Robot tag. То, что лежит в карте сайта по умолчанию предназначено для сканирования и индексирования. Поэтому надо внимательно относиться к тому, что генерируют Ваши скрипты.

Файл sitemap не обновляется

Скрипт перестал писать в файл новые страницы. Такое случается довольно часто, и чем сложнее архитектура приложения, тем чаще такое происходит. Это не большая проблема, если не записана одна страница, а если их сотни, то будут проблемы с индексацией сотни этих страниц, поскольку вручную на переобход их не отправить.

Точно так же стоит обратить внимание на атрибут файла lastmod, если он не обновляется, а страница обновляется — поисковый робот может и не переобойти страницу, обратившись к атрибуту lastmod и вычислив, что страница не изменена. Правда в этом случае куда вероятнее то, что роботы будут обходить страницы со старым LastModified реже чем другие.

Ошибки валидации

Из панели веб мастера Яндекс или Google могут Вам сообщать о том, что карта сайта сгенерирована с нарушениями и проч. Здесь трудно что-то разобрать на примерах, потому как на наших сайтах таких ошибок не бывает, да и вообще они довольно редкие. Такое если происходит, то вследствие ошибок при разработке, когда неверно применена или понята документация протокола. 99% сайтмапов сгенерированы CMS и если и содержат ошибки, то содержательные.

Как создать sitemap.xml

Сегодня с этим нет проблем совершенно. Большая часть сайтов работает на коммерческих CMS, которые из коробки имеют функционал по созданию sitemap. Конечно, когда Вам нужно сделать sitemap для видео, картинок, новостей, а плагины CMS этого решения не предлагают — нужно заниматься самостоятельной разработкой такого функционала, либо искать готовые решения и внедрять их в свой проект.

Если говорить об общих требованиях к карте сайта, то важными для SEO специалиста представляются следующие инструменты работы с sitemap:

• Возможность исключать из sitemap отдельную страницу в админке
• Возможность исключать из sitemap целые папки (/katalog/ например)
• Возможность выставление приоритета сканирования страниц как для конкретных страниц, так и для папок

При выполнении таких требований с sitemap работать будет удобно, такой подход реализован во многих плагинах и CMS.

Все ли это?

Конечно, нет. Есть еще сотни технических и не только деталей, связанных с особенностями работы тех или иных роботов, восприятия директив, вычисления дат изменений, технической документацией протокола, индексом sitemap, пространством имен.

Эта информация будет уже мало кому интересна. Часть будет разобрана в других статьях нашего блога, посвященных работе поисковых роботов.

Ну и конечно, если Вы желаете заказать самый большой технический аудит сайта — пишите svetsov@svettsova.com.

Если хотите сделать сами — мы подготовили Вам лучший чек-лист для технического аудита, пользуйтесь.

Полезные ссылки

• Хорошая статья из-за бугра на русском
• Документация по протоколу sitemap
• Гугл о картах сайта
• Яндекс о sitemap
• Яндекс о sitemap для изображений