Неканонические страницы в Поиске
Часто на сайтах присутствуют страницы с разными URL, но с одинаковым или очень похожим содержанием. С помощью атрибута rel=«canonical» вебмастера могут указать, какая страница является «канонической» — предпочтительной для индексации и появления в результатах поиска. Остальные, неканонические версии как правило в поиск не попадают.
Наши исследования показывают, что страницы, размеченные как неканонические могут быть полезны, а их наличие в поиске может влиять на качество и полноту ответа на запрос пользователя. Например, если для темы форума владелец сайта указал канонической страницу с началом ветки, то многие важные и нужные ответы, которые были даны пользователями позже, в поиск не попадают. Другой пример: бывает, что какое-то литературное произведение разбито на страницы и в качестве канонической прописана первая страница. В результате сайт не находится по запросу-цитате, соответствующей тексту за пределами первой странице. Поэтому теперь в поиске неканонические страницы будут появляться чаще.
Они будут показаны в том случае, если они более релевантны запросу и их контент существенно отличался от канонической версии во время сканирования роботом. В Вебмастере такие страницы можно увидеть на странице «Страницы в поиске» с пометкой «Неканоническая». Помимо этого статуса мы начали показывать статусы «Каноническая» и «Каноническая страница не указана» для всех страниц, попавших в поиск.
Если канонические страницы настроены на сайте без ошибок, то никаких дополнительных действий от вебмастера не требуется. Для сайтов, имеющих много неканонических страниц, которые сильно отличались от канонических, возможен прирост количества страниц в Поиске. Впрочем, канонические страницы по-прежнему попадают в поиск гораздо чаще и имеют более высокий приоритет при показе в результатах поиска. Объем трафика для каждого конкретного сайта существенно не изменится.
Команда Поиска
P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзен
Что делать, если в индекс попадают неканонические страницы?
В данной статье поговорим про канонические страницы, и разберем, почему неканонические попадают в поиск Яндекса. А также стоит ли менять карту сайта, если в ней указаны ссылки на оба варианта, или атрибута rel=canonical будет достаточно.
Для начала, нужно сказать, что не слишком важно, указаны ли страницы в карте сайта или нет — Яндекс использует этот файл в основном для того, чтобы узнать, какие новые страницы вообще появились. И в общем особого приоритета тем, которые там есть,.не дает, поэтому вряд ли они залетают в индекс только потому, что ссылки есть в карте. Но можно на всякий случай и убрать, если не хотите рисковать, вдруг поисковик всё же как-то использует эти сведения, хотя по наблюдениям такого и нет.
Почему попадают в индекс
Яндекс не так давно решил, что часть неканонических страниц имеют достаточную важность и значимость для пользователя, чтобы могли попадать в индекс. И этот алгоритм работает не очень хорошо, многие бесполезные для людей страницы теперь часто залетают в индекс. Возможно через 1-2 года они этот алгоритм починят, и он станет работать нормально.
Что можно делать
Во-первых, можно ничего не делать. То есть, раз Яндекс посчитал эти страницы достаточно значимыми, то можно надеяться, что их нахождение в индексе никак не повлияет.
Хотя, конечно, особо на это уповать не стоит. Лучше все же, если явно бесполезные страницы попадают в индекс, для начала посмотреть, отчего или вопреки чему это происходит — допустим, они не были закрыты от индексации, но были закрыты canonical, то есть по идее не должны были индексироваться.
Классический пример таких страниц — это пагинация. И стоит смотреть, действительно ли страницы пагинации могут принести пользу, при попадании в индекс ранжируются ли они по каким-либо запросам, мелькают ли хоть где-то, показываются ли хотя бы на 50 местах. И если показываются, то действительно ли будут лучшим ответом внутри сайта на те запросы, по которым они выходят. В 9 из 10 случаев ответ — нет. Почти всегда это полумусорные страницы, которые не являются лучшим ответом на запрос пользователя внутри сайта, поэтому желательно что-то сделать, как-то закрыть их.
Если такое происходит массово — например, есть такие проекты, где 20 страниц пагинации, и несмотря на то, что они были закрыты canonical, они влетели в индекс. Это много, и Яндекс сам же потом рано или поздно признает их мусорными, и это потом может повлияет на представление поисковика о сайте в целом. Точно также, если бы вы сами сделали такое, что индексировались бы пустые страницы или страницы пагинации — позже это могло бы негативно сказаться на продвижении сайта. Поэтому можно с этими страницами что-то делать:
- закрывать их более жестко от индексации: либо все страницы пагинации – например, в robots или через метатег “robots”=”noindex”;
- можно закрыть не все, а только те, что проиндексировались. Каноникл оставить на тех, что не попали в индекс, а которые попали, закрыть более жестко через noindex;
- можно сделать их более похожими на первую страницу. Например, если на первой есть текст, а на остальных нет, на первой заголовок, а на остальных «страница 2», «страница 3»,.. — можно это исправить, подогнать по формату так, чтобы были похожи, и посомтреть, что получится, как Яндекс на это отреагирует.
Если до этого у вас применялся каноникал, то это все основные способы, как можно избежать попадания неканонических старниц в индекс. Как правило, неканонические страницы в индексе — это не проблема, но если их объем становится большой (10-30%), то уже можно и даже желательно самые бесполезные из индекса выкидывать, потому как иначе сам Яндекс на всю эту ситуацию и отреагирует негативно.
Более подробно в других статьях, которые есть на нашем сайте
В данной статье поговорим про канонические страницы, и разберем, почему неканонические попадают в поиск Яндекса. А также стоит ли менять карту сайта, если в ней указаны ссылки на оба варианта, или атрибута rel=canonical будет достаточно.
Для начала, нужно сказать, что не слишком важно, указаны ли страницы в карте сайта или нет — Яндекс использует этот файл в основном для того, чтобы узнать, какие новые страницы вообще появились. И в общем особого приоритета тем, которые там есть,.не дает, поэтому вряд ли они залетают в индекс только потому, что ссылки есть в карте. Но можно на всякий случай и убрать, если не хотите рисковать, вдруг поисковик всё же как-то использует эти сведения, хотя по наблюдениям такого и нет.
Почему попадают в индекс
Яндекс не так давно решил, что часть неканонических страниц имеют достаточную важность и значимость для пользователя, чтобы могли попадать в индекс. И этот алгоритм работает не очень хорошо, многие бесполезные для людей страницы теперь часто залетают в индекс. Возможно через 1-2 года они этот алгоритм починят, и он станет работать нормально.
Что можно делать
Во-первых, можно ничего не делать. То есть, раз Яндекс посчитал эти страницы достаточно значимыми, то можно надеяться, что их нахождение в индексе никак не повлияет.
Хотя, конечно, особо на это уповать не стоит. Лучше все же, если явно бесполезные страницы попадают в индекс, для начала посмотреть, отчего или вопреки чему это происходит — допустим, они не были закрыты от индексации, но были закрыты canonical, то есть по идее не должны были индексироваться.
Классический пример таких страниц — это пагинация. И стоит смотреть, действительно ли страницы пагинации могут принести пользу, при попадании в индекс ранжируются ли они по каким-либо запросам, мелькают ли хоть где-то, показываются ли хотя бы на 50 местах. И если показываются, то действительно ли будут лучшим ответом внутри сайта на те запросы, по которым они выходят. В 9 из 10 случаев ответ — нет. Почти всегда это полумусорные страницы, которые не являются лучшим ответом на запрос пользователя внутри сайта, поэтому желательно что-то сделать, как-то закрыть их.
Если такое происходит массово — например, есть такие проекты, где 20 страниц пагинации, и несмотря на то, что они были закрыты canonical, они влетели в индекс. Это много, и Яндекс сам же потом рано или поздно признает их мусорными, и это потом может повлияет на представление поисковика о сайте в целом. Точно также, если бы вы сами сделали такое, что индексировались бы пустые страницы или страницы пагинации — позже это могло бы негативно сказаться на продвижении сайта. Поэтому можно с этими страницами что-то делать:
-
закрывать их более жестко от индексации: либо все страницы пагинации – например, в robots или через метатег “robots”=”noindex”;
-
можно закрыть не все, а только те, что проиндексировались. Каноникл оставить на тех, что не попали в индекс, а которые попали, закрыть более жестко через noindex;
-
можно сделать их более похожими на первую страницу. Например, если на первой есть текст, а на остальных нет, на первой заголовок, а на остальных «страница 2», «страница 3»,.. — можно это исправить, подогнать по формату так, чтобы были похожи, и посомтреть, что получится, как Яндекс на это отреагирует.
Если до этого у вас применялся каноникал, то это все основные способы, как можно избежать попадания неканонических старниц в индекс. Как правило, неканонические страницы в индексе — это не проблема, но если их объем становится большой (10-30%), то уже можно и даже желательно самые бесполезные из индекса выкидывать, потому как иначе сам Яндекс на всю эту ситуацию и отреагирует негативно.
Если на сайте есть страница, доступная по нескольким адресам, а также страницы с одинаковым или схожим содержимым, робот Яндекса может посчитать их дублями. Тогда он объединит страницы в группу дублей и выберет для показа в результатах поиска только одну из них — наиболее информативную и релевантную поисковым запросам. Такая страница называется канонической.
Вы можете указать роботу страницу, предпочитаемую для показа в результатах поиска, с помощью атрибута rel=”canonical”. Также вы можете указать канонический адрес, если хотите изменить адрес сайта — с префиксом www или без него, протоколом HTTP или HTTPS.
Внимание. Робот Яндекса воспринимает указание на канонический адрес как рекомендацию и может проигнорировать его в нескольких случаях.
- Как указать канонический адрес страницы
- Как изменить адрес сайта с помощью канонического адреса
- Случаи, когда канонический адрес не учитывается
- Вопросы и ответы
Добавьте канонический адрес страницы с помощью атрибута rel=”canonical” одним из способов:
Например, страница доступна по двум адресам: www.example.com/pages?id==2 и www.example.com/blog.
Если предпочитаемый адрес — /blog, добавьте в HTML-код страницы /pages?id=2 элемент link:
<link rel="canonical" href="http://www.example.com/blog"/>
Например, на сайте есть PDF-файл, доступный по нескольким адресам: www.example.com/offer/file.pdf и www.example.com/files/file.pdf. Если предподчитаемый адрес — /offer/file.pdf, настройте сервер так, чтобы он передавал в HTTP-заголовке страницы /files/file.pdf следующее:
Link: <http://www.example.com/offer/file.pdf>; rel="canonical"
Примечание. Указывайте канонический адрес в пределах одного домена. В качестве канонического адреса задавайте абсолютный путь, например http://example.com/blog/.
Страница, на которой размещен атрибут rel=”canonical” с адресом другой страницы, считается неканонической.
Робот узнает об изменениях при обходе сайта. Если канонический адрес указан верно и робот не проигнорировал указание, неканоническая страница пропадет из результатов поиска. Убедиться в том, что страница удалена из поиска, можно в Вебмастере на странице (блок Исключённые страницы).
Робот игнорирует указания, если содержимое канонической страницы значительно отличается от содержимого неканонической. В этом случае в поиске может участвовать неканоническая страница. Чтобы проверить это, перейдите на страницу .
Чтобы исключить из поиска неканоническую страницу, адрес которой содержит GET-параметры или метки (UTM, from и т. д.), добавьте директиву Clean-param в файл robots.txt. В другом случае используйте директиву Disallow.
Вы можете указать канонический адрес, если хотите изменить адрес сайта:
-
на домен с префиксом www или без него;
-
с протоколом HTTPS или HTTP.
Робот воспримет канонический адрес как редирект на новое главное зеркало и объединит две версии сайта в одну группу. Для этого в HTML-код или в HTTP-заголовок каждой страницы старого сайта добавьте ссылку на аналогичную страницу нового с атрибутом rel=”canonical”. Например, вы меняете адрес http://example.com на https://example.com. На странице http://example.com/main/ нужно указать:
<link rel="canonical" href="https://example.com/main"/>
Если атрибут будет указывать на другую страницу, робот может посчитать это различием в структуре сайтов. В таком случае переезд будет невозможен.
При смене адреса убедитесь, что контент старого и нового сайтов совпадает. Подробнее см. инструкцию по переезду.
Примечание. Если атрибут добавлен только на отдельные страницы, он не будет указывать на главное зеркало.
Робот Яндекса не учтет канонический адрес, если:
-
На момент обхода неканонические страницы более полно отвечают на запрос пользователя, и их контент существенно отличается от канонических. Если вы уверены, что такие страницы не будут полезны пользователям в поиске, запретите индексирование в файле robots.txt.
-
Канонический адрес недоступен для робота — перенаправляет на другую страницу или закрыт от индексирования. Это значит, что он не сможет участвовать в поиске. Тогда вместо канонического адреса может участвовать неканонический, если он доступен для робота.
-
В качестве канонического адреса указан URL в другом домене или поддомене.
-
Указано несколько канонических адресов.
-
Указана цепочка канонических адресов. Например, для адреса example.com/1 каноническим адресом является example.com/2, в то время как для адреса example.com/2 указан канонический адрес example.com/3.
Атрибут rel=”canonical” указывает на страницу, на которой размещен. Это ошибка?
Нет. Если на странице атрибут rel=”canonical” указывает на эту же страницу, робот посчитает ее канонической.
Как вернуть неканоническую страницу в поиск
Если страница была исключена из поиска как неканоническая, значит, в ее HTML-коде или HTTP-заголовке робот нашел атрибут rel=”canonical” с указанием на канонический адрес. Удалите это указание и проверьте, что индексирование страницы, которую вы хотите вернуть в поиск, не запрещено.
Если у вас остались вопросы об использовании атрибута rel=”canonical”, укажите в форме ниже примеры страниц, с которыми возникли проблемы.
На сайте с 25.01.2018
Offline
54
После настройки canonical на сайте с каждым днем наблюдаю на яндекс вебмастере уменьшаются дубли страниц и наоборот увеличивается неканонические страницы. Подскажите как от них избавиться ? Плохо ли они влияют на индексацию сайта ?
На сайте с 14.06.2017
Offline
228
ruslan_1991:
на яндекс вебмастере умещаются дубли страниц
Я не понимать такая рускей езыг. И также не понимаю, что реально было сделано под словами “настройки canonical на сайте” – и самое, главное, нужно ли было это делать.
“Правильно заданный вопрос – половина ответа” (с)
1
Производство жести методом непрерывного отжига
DB
На сайте с 12.01.2012
Offline
65
Ваш вопрос действительно малоинформативен. Все что ни делается, все к лучшему.Ответ пока такой
1
На сайте с 19.10.2011
Online
1545
ruslan_1991, ну показывай скрины сюда
На сайте с 25.01.2018
Offline
54
На сайте с 19.10.2011
Online
1545
Вставь просто картинкой сюда
На сайте с 25.01.2018
Offline
54
———- Добавлено 22.06.2019 в 16:03 ———-
xVOVAx:
Вставь просто картинкой сюда
Что то не получается ссылку ставлю изображение не выводиться
На сайте с 19.10.2011
Online
1545
Сразу скажу – не используй яндекс, мейл и все что у нас заблокировано – просто прикрепи файл к посту
На сайте с 25.01.2018
Offline
54
xVOVAx:
Сразу скажу – не используй яндекс, мейл и все что у нас заблокировано – просто прикрепи файл к посту
Хорошо Прикрепил
На сайте с 19.10.2011
Online
1545
а ты прочитал – что такое неканоническая ссылка в вебмастере ?
там же четко написано Страница проиндексирована по каноническому адресу https://site.ru, который был указан в атрибуте rel=”canonical” в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.
грубо говоря, раз ты старался с скринами , я постараюсь и отвечу четко по делу
дубли стали неканоническими страницами – это очень хорошо , если эти страницы тебе не нужны для трафика ( например пагинация )
1
На сайте с 25.01.2018
Offline
54
xVOVAx:
а ты прочитал – что такое неканоническая ссылка в вебмастере ?
там же четко написано Страница проиндексирована по каноническому адресу https://site.ru, который был указан в атрибуте rel=”canonical” в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.
грубо говоря, раз ты старался с скринами , я постараюсь и отвечу четко по делу
дубли стали неканоническими страницами – это очень хорошо , если эти страницы тебе не нужны для трафика ( например пагинация )
Спасибо Вова да читал теперь все понятно))))