Как найти sitemap на wordpress

В Версии WordPress 5.5 была наконец-то добавлена поддержка карты сайта в ядро. Плагин Google XML Sitemaps и ему подобные больше не нужны.

Знакомство

Главная страница Карты Сайта WordPress находится по адресу /wp-sitemap.xml или /sitemap-xml (с редиректом). Она содержит ссылки на карты ссылок.

И уже каждая карта ссылок содержит ссылки на страницы сайта.

Что по умолчанию попадает в Карту сайта?

Только публичные типы постов или таксономий, а также страницы постов авторов. Публичный тип или нет определяется параметрами public и publicly_queryable при регистрации типа записи или таксономии.

Максимальное кол-во ссылок в Карте

Главная (index) страница может содержать максимум 50 000 карт (ссылок на карты). Это значение изменить нельзя, оно находится в приватном свойстве WP_Sitemaps_Index::$max_sitemaps.

Каждая карта ссылок может содержать максимум 2 000 ссылок на странице. Это значение меняется через хук wp_sitemaps_max_urls:

# Изменим макс. кол-во ссылок в каждой карте ссылок.
# Возможные значение $object_type: post, term, user
add_filter( 'wp_sitemaps_max_urls', 'kama_sitemap_max_urls', 10, 2 );
function kama_sitemap_max_urls( $num, $object_type ){
	return 1000;
}

Изменение кол-ва макс. ссылок влияет на кол-во ссылок пагинации на главной странице Карты сайта. Например, если у нас всего 500 постов, то по умолчанию будет всего одна карта ссылок для всех постов. Но если мы изменим максимум на 100. То на индексной странице появится 5 ссылок на Карты постов.

Не работает Карта сайта WordPress, 501 ошибка?

XML Карта Сайта WP работает на основе PHP расширения SimpleXML. Если его нет у вас на сервере, то при переходе на страницу карты сайта вы получите 501 ошибку.

Ссылка на карту сайта в файле robots.txt

Ссылка https://домен/wp-sitemap.xml добавляется в конец файла robots.txt автоматически. Но только, если у вас нет физического файла robots.txt в корне сайта. Т.е. robots.txt должен создаваться динамически. Подробнее о динамическом файле robots, читайте в функции do_robots().

Пример правильного создания динамического файла robots.txt для WordPress смотрите по этой ссылке.

Отключение Карты сайта WordPress

Если на сайте установлен плагин или код, который уже создает карту сайта и Карта сайта от WordPress уже не нужна, то её можно отключить. Для этого вставьте следующий код в functions.php темы, в код плагина или куда-либо еще (впрочем, скорее всего, ваш плагин это уже сделал).

add_filter( 'wp_sitemaps_enabled', '__return_false' );

Теперь, если перейти по адресу /wp-sitemap.xml вы увидите 404 страницу.

Обратите внимание, что карта сайта WordPress отключается автоматически, если в настройках «Чтение» есть галочка «Попросить поисковые системы не индексировать сайт».

Добавление элементов в карту сайта

Чтобы добавить тип записи или таксономию в карту сайта WordPress, нужно сделать их публичными, для этого при регистрации нужно установить в true параметры public и publicly_queryable.

Чтобы добавить произвольные ссылки в карту сайта, нужно создать свой Провайдер.

Удаление элементов Карты сайта

Из коробки в WP есть три провайдера (поставщика) карт сайтов для разных типов: записи, таксономии, пользователи:

• posts — WP_Sitemaps_Posts{}
• taxonomies — WP_Sitemaps_Taxonomies{}
• users — WP_Sitemaps_Users{}

Удалять можно как самого провайдера карт сайтов, так и отдельный тип (отдельную карту «внутри» провайдера) или вообще отдельный элемент типа (ссылку «внутри» карты). Рассмотрим на примере таксономий. Можно отключить провайдера «taxonomies» и тогда все таксономий исчезнут из карты сайта, можно отключить отдельную таксономию и оставить остальные таксономии, или можно исключить отдельную рубрику (элемент) таксономии из списка ссылок.

Отключение Провайдера целиком (всех таксономий, юзеров, типов постов)

Провайдер – это общее понятие, которое включает в себя все типы. Например

• провайдер типа записи включает все типы записей.
• провайдер таксономии включает все типы таксономий.

Если отключить провайдера целиком, из карты сайта будут удалены все типы, например если отключить провайдера таксономий, то все типа таксономий (рубрики, метки, архивы пользователей) будут исключены из карты сайта.

# Отключение провайдера карт сайтов: пользователи и таксономии
add_filter( 'wp_sitemaps_add_provider', 'kama_remove_sitemap_provider', 10, 2 );

function kama_remove_sitemap_provider( $provider, $name ){

	$remove_providers = [ 'users', 'taxonomies' ];

	// отключаем архивы пользователей
	if( in_array( $name, $remove_providers ) ){
		return false;
	}

	return $provider;
}

Отключение типа записи (поста, страницы)

Например в карте сайта нам не нужен тип записи page.

# Удалим тип записи из карты сайта
add_filter( 'wp_sitemaps_post_types', 'wpkama_remove_sitemaps_post_types' );

function wpkama_remove_sitemaps_post_types( $post_types ){

	unset( $post_types['page'] );

	return $post_types;
}

Отключение таксономии (рубрики, метки)

Например в карте сайта нам не нужны метки (таксономия post_tag).

# Удалим таксономии из карты сайта
add_filter( 'wp_sitemaps_taxonomies', 'wpkama_remove_sitemaps_taxonomies' );

function wpkama_remove_sitemaps_taxonomies( $taxonomies ){

	unset( $taxonomies['post_tag'] );

	return $taxonomies;
}

Исключение отдельных url (url записи, рубрики, метки)

Элементы исключаются путем изменения параметров запроса WP_Query, WP_Term_Query через специальные хуки.

Удалим отдельные Записи из Карты сайта

Например посты с ID 12 и 24 не нужны нам в карте сайта (пусть они имеют метатег noindex,
но в карте появляются), исключим их из Карты сайта.

См. хук wp_sitemaps_posts_query_args и все возможные параметры в WP_Query().

add_filter( 'wp_sitemaps_posts_query_args', 'kama_sitemaps_posts_query_args', 10, 2 );
function kama_sitemaps_posts_query_args( $args, $post_type ){

	if( 'post' !== $post_type ){
		return $args;
	}

	// учтем что этот параметр может быть уже установлен
	if( ! isset( $args['post__not_in'] ) ){
		$args['post__not_in'] = array();
	}

	// Исключаем посты
	foreach( [ 12, 24 ] as $post_id ){
		$args['post__not_in'][] = $post_id;
	}

	return $args;
}

Удалим Термины из Карты сайта

Например термины с ID 12 и 24 из таксономии cities имеют метатег noindex, исключим их из Карты сайта.

См. хук wp_sitemaps_taxonomies_query_args и все возможные параметры в get_terms().

add_filter( 'wp_sitemaps_taxonomies_query_args', 'kama_sitemaps_taxonomies_query_args', 10, 2 );
function kama_sitemaps_taxonomies_query_args( $args, $taxonomy ){

	if( 'cities' !== $taxonomy ){
		return $args;
	}

	// учтем что этот параметр может быть уже установлен
	if( ! isset( $args['exclude'] ) ){
		$args['exclude'] = array();
	}

	// Исключаем термины
	$args['exclude'] = array_merge( $args['exclude'], [ 12, 24 ] );

	return $args;
}

Удалим отдельных Юзеров из Карты сайта

Например нам не нужны юзеры с ID 12, 24.

См. хук wp_sitemaps_users_query_args и все возможные параметры в get_users().

add_filter( 'wp_sitemaps_users_query_args', 'kama_sitemaps_users_query_args' );
function kama_sitemaps_users_query_args( $args ){

	// учтем что этот параметр может быть уже установлен
	if( ! isset( $args['exclude'] ) ){
		$args['exclude'] = array();
	}

	// Исключаем юзеров
	$args['exclude'] = array_merge( $args['exclude'], [ 12, 24 ] );

	return $args;
}

Как проверить Включена ли карта сайта

Чтобы узнать Включена ли карта сайта, используйте такую проверку:

$is_sitemaps_enabled = wp_sitemaps_get_server()->sitemaps_enabled();

if( $is_sitemaps_enabled ){
	// карты сайта WP работают
}
else{
	// карты сайта WP отключены
}

Как проверить Находимся ли мы на странице карты сайта?

Как ни странно, но готовой функции вроде is_sitemap() или is_sitemap_page() в WordPress НЕТ (справедливо для WP 6.1).

Однако сделать это не сложно. Для этого нужно проверить текущий параметр запроса (это внутренний параметр, который устанавливается на хуке wp

/**
 * Checks if it is WordPress sitemap page.
 *
 * @return bool
 */
function is_sitemap_page(){
	global $wp_version;

	if( ! did_action( 'parse_request' ) ){
		_doing_it_wrong( __FUNCTION__, 'Can`t be called before `parse_request` hook.', $wp_version );

		return false;
	}

	return (bool) sanitize_text_field( get_query_var( 'sitemap' ) );
}

Пример использования:

add_action( 'wp', function(){

	if( is_sitemap_page() ){
		// это страница карты сайта.
	}
} );

Добавим все дополнительные поддерживаемые теги для Карт записей (постов).

add_filter( 'wp_sitemaps_posts_entry', 'wpkama_sitemaps_posts_entry', 10, 2 );
function wpkama_sitemaps_posts_entry( $entry, $post ){

	$entry['lastmod']    = get_the_modified_date( 'c', $post );
	$entry['priority']   = 0.8;
	$entry['changefreq'] = 'weekly';

	return $entry;
}

Получим:

Рассмотрим все подробнее

Протокол sitemaps поддерживает четыре атрибута для каждого элемента <url> карты сайта (по умолчанию в WP используется только <loc>). Остальные можно добавить через фильтры.

Вот что выводится по умолчанию в WordPress:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>
	  <loc>http://www.example.com/</loc>
   </url>

</urlset>

Вот что поддерживается протоколом:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>
	  <loc>http://www.example.com/</loc>
	  <lastmod>2005-01-01</lastmod>
	  <changefreq>monthly</changefreq>
	  <priority>0.8</priority>
   </url>

</urlset>

loc(Обязательный)

URL-адрес страницы. Этот URL должен начинаться с протокола (например, http). Должен быть меньше 2048 символов.

lastmod

Дата последнего изменения файла. Дата должна быть в формате W3C Datetime:

• YYYY – 1997
• YYYY-MM – 1997-07
• YYYY-MM-DD – 1997-07-16
• YYYY-MM-DDThh:mmTZD – 1997-07-16T19:20+01:00
• YYYY-MM-DDThh:mm:ssTZD – 1997-07-16T19:20:30+01:00

Обратите внимание, что этот тег независим от заголовка If-Modified-Since (304), который может возвращать сервер, и поисковые системы могут использовать информацию из обоих источников по-разному.

changefreq

Как часто страница может меняться. Это значение предоставляет общую информацию для поисковых систем. Поисковики могут игнорировать эту информацию и заходить на страницу чаще или реже. Возможные значения:

• always – используется для страниц, которые изменяются при каждом обращении к ним.
• hourly
• daily
• weekly
• monthly
• yearly
• never – используется для архивированных URL-адресов.

priority

Важность этого URL по отношению к другим URL-адресам. Значение указывается от 0.0 до 1.0. Это значение не влияет на то, как ваши страницы сравниваются со страницами на других сайтах — оно только позволяет поисковым системам узнать, какие страницы вы считаете наиболее важными. Стандартный приоритет равен 0.5.

Обратите внимание, что приоритет, который вы назначаете странице, вряд ли повлияет на положение Ваших URL-адресов на страницах результатов поисковой системы. Поисковые системы могут использовать эту информацию при выборе между URL-адресами на одном и том же сайте, поэтому вы можете использовать этот тег, чтобы увеличить вероятность того, что ваши самые важные страницы будут присутствовать в поисковом индексе.

Также, обратите внимание, что присвоение высокого приоритета всем URL-адресам вряд ли что-то улучшит. Поскольку приоритет является относительным, он используется только для выбора ботом какую страницу посетить в первую очередь между URL-адресами на вашем сайте.

Классы, Функции, Хуки

Для управления/изменения Карты сайта есть набор функций, классов и хуков. Ниже приведен список всех Функций, классов и хуков, которые связаны с Картой сайта WordPress.

Заметки

Оптимизируем WP_Query внутри карт сайта

По-умолчанию для вывода постов всех типов, класс WP_Sitemaps_Posts{} использует WP_Query и в результат отдаёт массив с объектами постов, тогда как в любом сценарии нам хватит одного лишь ID поста. Если у вас очень большое количество постов какого-либо типа, то вы можете обнаружить долгую генерацию отдельных карт. Код ниже позволяет изменить WP_Query, заставив его отдавать массив только с ID, что улучшит скорость генерации страницы и снизит нагрузку.

// Добавляем фильтр, чтобы WP_Query отдавал только массив id постов
add_filter( 'wp_sitemaps_posts_query_args', 'optimize_sitemap_posts_query', 10, 1 );
function optimize_sitemap_posts_query( $args ){
	$args['fields'] = 'ids';

	return $args;
}

WordPress Version 5.5 has finally added support for sitemaps to the core. The Google XML Sitemaps plugin and the like are no longer needed.

Introduction

The WordPress Sitemap home page is located at /wp-sitemap.xml or /sitemap-xml (with redirect). It contains links to sitemaps.

And each sitemap contains links to the site pages (posts).

What is included in the Sitemap by default?

Only public post types, public taxonomies and author posts pages. Is it public type is determined by public and publicly_queryable parameters on post type or taxonomy registration.

Maximum number of links in the Sitemap

Main (index) page can contain maximum 50 000 sitemaps (links to sitemaps). This value canNOT be changed, it is located in a private property WP_Sitemaps_Index::$max_sitemaps.

Every sitemap can contain maximum 2 000 links on one page. This value can be changed though wp_sitemaps_max_urls hook:

# Change the maximum number of links in each sitemap.
add_filter( 'wp_sitemaps_max_urls', 'kama_sitemap_max_urls', 10, 2 );

function kama_sitemap_max_urls( $num, $object_type ){
	// $object_type can be one of: post, term, user
	return 1000;
}

The maximum number of single sitemap links affects the number of pagination links on the main sitemap page. For example, if we have 500 posts, then by default there will be only one sitemap for all posts. But if we change the maximum to 100, then there will be 5 links to the single sitemaps on the the main sitemap page.

Sitemap doesn’t work, 501 error?

The WP XML Sitemap is powered by PHP extension SimpleXML. If you do not have it on your server, the sitemap won’t work and you will see 501 error on the sitemap page.

Link to the sitemap in the robots.txt file

The link https://domain/wp-sitemap.xml is automatically added at the end of robots.txt file. But it happens only if your robots.txt file is dynamic (there is no physical robots.txt file in the root directory). For more information about the dynamic robots file, see the function do_robots().

Example of creation correct dynamic robots.txt file for WordPress see by this link.

Disabling WordPress Sitemap

If there is a plugin or custom code which already creates sitemap and WordPress sitemap is no needed, then you can disable it. To do this place the following code into the theme’s functions.php file or somewhere else:

add_filter( 'wp_sitemaps_enabled', '__return_false' );

Now if you go to the page /wp-sitemap.xml you will see 404 error page.

Pay attention, that the WordPress sitemap is disabled automatically if checkbox “Discourage search engines from indexing this site” is enabled on the “Reading” options page:

Adding Elements to the Sitemap

To add post type or taxonomy into the WordPress Sitemap, we need to make them public. To do this, to do this, you need to set the public and publicly_queryable parameters to true during registration.

To add custom links to the sitemap, you need to create your own Provider.

Deleting Sitemap elements

By default there is three providers of the Sitemaps for different types: posts, taxonomies, users:

• posts — WP_Sitemaps_Posts{}
• taxonomies — WP_Sitemaps_Taxonomies{}
• users — WP_Sitemaps_Users{}

You can delete the whole provider of sitemaps or a single type (a single sitemap “inside” the provider) or even a single type element (a link “inside” the map). For example let’s take taxonomies. You can disable a “taxonomies” provider and then all taxonomies will disappear from the sitemap, you can disable a single taxonomy and leave the rest of the taxonomies, or you can exclude a category (taxonomies element) from the list of links.

Disabling Entire Provider (all taxonomies, users, post types)

Provider is a general term that includes all types. For example

• A post type provider includes all types of posts (pages, posts).
• A taxonomy provider includes all taxonomy types (category, tags).

If you disable a whole provider, all types will be removed from the site map, e.g. if you disable a taxonomy provider, all taxonomy types (categories, tags, user archives) will be excluded from the site map.

# Disabling the sitemap provider: users and taxonomies
add_filter( 'wp_sitemaps_add_provider', 'kama_remove_sitemap_provider', 10, 2 );

function kama_remove_sitemap_provider( $provider, $name ){

	$remove_providers = [ 'users', 'taxonomies' ];

	// disabling users archives
	if( in_array( $name, $remove_providers ) ){
		return false;
	}

	return $provider;
}

Disable Post Type (post, page)

For example, we don’t need the page post type in the sitemap.

# Remove post type from the Sitemap
add_filter( 'wp_sitemaps_post_types', 'wpkama_remove_sitemaps_post_types' );

function wpkama_remove_sitemaps_post_types( $post_types ){

	unset( $post_types['page'] );

	return $post_types;
}

Remove Taxonomy (category, tags)

For example we don’t need tags – post_tag taxonomy in the sitemap.

# Remove taxonomies from the sitemap
add_filter( 'wp_sitemaps_taxonomies', 'wpkama_remove_sitemaps_taxonomies' );

function wpkama_remove_sitemaps_taxonomies( $taxonomies ){

	unset( $taxonomies['post_tag'] );

	return $taxonomies;
}

Exclude Separate URLs

Single elements are excluded by changing the query WP_Query, WP_Term_Query parameters through special hooks.

Exclude single Posts from the Sutemap

For example, we need to exclude posts with ID 12 and 24 from our sitemap (suppose they have the noindex meta tag, but appears in the sitemap).

See hook wp_sitemaps_posts_query_args and all parameters of WP_Query().

add_filter( 'wp_sitemaps_posts_query_args', 'kama_sitemaps_posts_query_args', 10, 2 );

function kama_sitemaps_posts_query_args( $args, $post_type ){

	if ( 'post' !== $post_type ){
		return $args;
	}

	// take into account that this parameter may already be set
	if( !isset( $args['post__not_in'] ) )
		$args['post__not_in'] = array();

	// exclude posts
	foreach( [ 12, 24 ] as $post_id ){
		$args['post__not_in'][] = $post_id;
	}

	return $args;
}

Remove Terms form Sitemap

For example, terms with ID 12 and 24 from the taxonomy “cities” have the meta tag noindex, so we need to exclude them from the Sitemap.

See hook wp_sitemaps_taxonomies_query_args and all parameters of get_terms().

add_filter( 'wp_sitemaps_taxonomies_query_args', 'kama_sitemaps_taxonomies_query_args', 10, 2 );

function kama_sitemaps_taxonomies_query_args( $args, $taxonomy ){

	if ( 'cities' !== $taxonomy ){
		return $args;
	}

	// take into account that this parameter may already be set
	if( !isset( $args['exclude'] ) )
		$args['exclude'] = array();

	// exclude terms
	$args['exclude'] = array_merge( $args['exclude'], [ 12, 24 ] );

	return $args;
}

Remove single Users from Sitemap

For example, we do not need users with ID 12, 24.

See hook wp_sitemaps_users_query_args and all parameters of get_users().

add_filter( 'wp_sitemaps_users_query_args', 'kama_sitemaps_users_query_args' );

function kama_sitemaps_users_query_args( $args ){

	// take into account that this parameter may already be set
	if( !isset( $args['exclude'] ) )
		$args['exclude'] = array();

	// exclude users
	$args['exclude'] = array_merge( $args['exclude'], [ 12, 24 ] );

	return $args;
}

Is Sitemap Enabled?

To find out if the sitemap is enabled, use this check:

$is_sitemaps_enabled = wp_sitemaps_get_server()->sitemaps_enabled();

if( $is_sitemaps_enabled ){
	// WP Sitemaps is working
}
else {
	// WP Sitemaps is disabled
}

Let’s add all supported tags for Posts Sitemaps.

add_filter( 'wp_sitemaps_posts_entry', 'wpkama_sitemaps_posts_entry', 10, 2 );

function wpkama_sitemaps_posts_entry( $entry, $post ){

	$entry['lastmod']    = $post->post_modified_gmt;
	$entry['priority']   = 0.8;
	$entry['changefreq'] = 'weekly';

	return $entry;
}

Will get:

More details

The Sitemaps Protocol supports four attributes for each sitemap element <url> (by default WP uses only <loc>). The rest can be added via filters.

Here is what WordPress output by default:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>
	  <loc>http://www.example.com/</loc>
   </url>

</urlset>

Here is what the Protocol supports:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <url>
	  <loc>http://www.example.com/</loc>
	  <lastmod>2005-01-01</lastmod>
	  <changefreq>monthly</changefreq>
	  <priority>0.8</priority>
   </url>

</urlset>

loc(required)

The URL of the page. This URL must start with a protocol (for example, http). Must be less than 2048 characters.

lastmod

The date when the file was last modified. The date must be in the W3C Datetime format:

• YYYY – 1997
• YYYY-MM – 1997-07
• YYYY-MM-DD – 1997-07-16
• YYYY-MM-DDThh:mmTZD – 1997-07-16T19:20+01:00
• YYYY-MM-DDThh:mm:ssTZD – 1997-07-16T19:20:30+01:00

Note that this tag is independent of the If-Modified-Since (304) header. This header can be returned by your server and search engines can use information from both sources in different ways.

changefreq

How often the page changes. This value provides general information for search engines. Search engines may ignore this information and visit the page more or less often. Possible values:

• always – used for pages that change every time they are accessed.
• hourly
• daily
• weekly
• monthly
• yearly
• never – used for archived URLs.

priority

The importance of this URL in relation to other URLs. The value can be from 0.0 to 1.0. This value doesn’t affect how your pages compare to pages on other sites — it only lets search engines know which pages you think are most important. The default priority is 0.5.

Please note that the priority you assign is not affect the URLs position in search engine results. Search engines can use this information when choosing between URLs on the same site. Use this tag to increase the likelihood that your most important pages will be present in the search index.

Also, note that assigning a high priority to all URLs is unlikely to improve anything. Since the priority is relative, it is only used by the bot to choose which page to visit first between the URLs on same site.

Classes, Functions, Hooks

There is a set of functions, classes, and hooks for managing/modifying the Sitemap. Below is a list of all the Functions, classes, and hooks that are associated with the WordPress Sitemap.

Notes

WP_Query optimization inside the Sitemap

By default to get posts URLs of any post type the WP_Sitemaps_Posts() class uses WP_Query and returns array of posts objects. Whereas in any scenario, we will only need the ID of the post. If you have huge number of posts of any post type, you may loss of performance to generate some of sitemaps. The code below allows you to change WP_Query, forcing it to return an array with only the ID, which will improve the speed of page generation and reduce the load.

// Adding a filter so that WP_Query returns only an post IDs array
add_filter( 'wp_sitemaps_posts_query_args', 'optimize_sitemap_posts_query', 10, 1 );

function optimize_sitemap_posts_query( $args ){
	$args['fields'] = 'ids';

	return $args;
}