Как найти непроиндексированные страницы на сайте

Вряд ли стал писать на эту простую тему, если бы не статья, которая начинается так:

Узнать, сколько страниц было проиндексировано Google, можно с помощью Search Console. Но как отыскать те URL, которые отсутствуют в индексе поисковой системы? Справиться с этой задачей поможет специальный скрипт на Python.

цитата из перевода на searchengines.ru

Вот это да, подумал я. Автор предлагает:

1. Установить на компьютер Phyton 3.
2. Установить библиотеку BeautifulSoup.
3. Установить Tor в качестве прокси-сервера.
4. Установить Polipo для преобразования socks-прокси в http-прокси.
5. Провести настройки в консоли (не Search Conosole! в терминале операционной системы!).
6. Увидеть предупреждение в конце статьи “Если скрипт не работает, то Google, возможно, блокирует Tor. В этом случае используйте свой собственный прокси-сервер”.
7. Побиться головой о стену (ой, тут все-таки прорвался мой сарказм).

Как проверять индексацию без лишних мучений?

Автор опирается на верный в основе способ – запросы к выдаче с оператором info:. Это самый надежный метод, но у него есть огромный минус. Один запрос проверяет один url. А что если у нас их 10 000? Или больше?

Очевидно, что нужен более экономный путь. И он есть. Рассказываю.

Во-первых, получаем полный список страниц сайта. Если вы следуете стандартам веб-разработки и минимально заботитесь об индексации, то он должен содержаться в sitemap.xml.

Для удобства работы выгружаем url в виде простого списка. Это можно сделать, открыв xml-файл в Excel:

Вся дальнейшая работа сводится к тому, чтобы удалить из списка те страницы, которые есть в индексе.

В посте Как проверить индексацию сайта или раздела в Google? Ответ не так уж прост! я писал о том, что традиционно используемые для пробивки индекса операторы “site:” и “inurl:” не дают точных результатов. Если страница не обнаруживается поиском с оператором, это не значит, что ее нет в базе Googe.

Но! Если уж страница нашлась – это значит, что она в индексе. Понимаете разницу? Оператор находит не все, но уж что находит – то в индексе. Этим и воспользуемся.

Смотрим основные разделы и типичные паттерны в url, формируем список запросов для проверки индекса в них.

Например, для этого блога:

• site:alexeytrudov.com/dnevnik/
• site:alexeytrudov.com/web-marketing/
• site:alexeytrudov.com/veb-razrabotka/

Как быть, если в url нет ЧПУ и явной структуры? Можно придумать много способов. Например, помимо site: указывать фразу, которая есть только в шаблоне определенного раздела. Или наоборот – добавить слово со знаком минус, чтобы найти url, где оно не содержится.

Суть в том, чтобы а) покрыть разные части сайта и б) использовать достаточно сложный запрос, на который Гугл выдаст много результатов (см. предыдущую статью).

Каждый из запросов способен принести нам до 1000 новых url. Нужно выгрузить результаты по ним для сравнения со списком из карты сайта.

Как парсить выдачу?

Способов миллион. Два примера.

Можно воспользоваться Key Collector (куплен у каждого оптимизатора еще в прошлой жизни). Добавляем как фразы запросы с операторами:

Перед запуском настроим максимальное количество результатов в выдаче:

Теперь сам сбор данных:

Дожидаемся сбора и выгружаем список url (то же меню, “Экспортировать данные о поисковой выдаче”). Получаем csv-файл со множеством ссылок (у меня на 3 запроса – 136 url, половина сайта, добавив ключи по остальным рубрикам наверняка нашел бы почти все).

Можно ли справиться без Key Collector и вообще без платных программ? Конечно!

1. Устанавливаете расширение gInfinity в Chrome (https://chrome.google.com/webstore/detail/ginfinity/dgomfdmdnjbnfhodggijhpbmkgfabcmn).
2. Устанавливаете расширение Web Developer (http://chrispederick.com/work/web-developer/) – оно крайне полезно и для других нужд.

Первый плагин нам позволяет загружать в выдаче Google больше 100 результатов простой прокруткой.

Для формирования перечня ссылок нажимаем на значок Web Developer:

Запрос – зажатая кнопка PageDown – выгрузка.

Теперь нам остается только сравнить списки и вычленить url, которые есть в карте, но отсутствуют в выгрузках из выдачи.

Для сравнения можно использовать бесплатный онлайн-сервис: https://bez-bubna.com/free/compare.php (ну или Excel). Заодно, кстати, не помешает найти страницы, которые есть в выдаче и отсутствуют в карте сайта. Это признак либо неполной карты, либо генерации “мусорных” документов и неправильных настроек индексации.

Если вы корректно подобрали запросы, то наверняка нашли 90% проиндексированных url и сильно сократили объем работы. С оставшимися можно разобраться с помощью оператора info. Разумеется, не стоит это делать руками – можно использовать Rush Analytics. Анализ 100 ссылок будет стоить 5 рублей. Благодаря предыдущим операциям мы существенно экономим. Или можно собрать выдачу тем же Кейколлектором (тут уже правда уже может потребоваться антикапча).

Если хотите еще сократить список кандидатов на платную проверку, то можете также определить список страниц, приносивших трафик за последнюю неделю-две (уж они-то почти наверняка в индексе!) и отсеять найденные. О том, как выгружать url точек входа см. в статье об анализе страниц, потерявших трафик.

Как видите, с задачей поиска непроиндексированных страниц у небольших и средних (где-нибудь до 50 тысяч страниц) вполне можно справиться без возни с консолью, прокси, phyton-библиотеками и так далее. Достаточно иметь под рукой популярные инструменты, пригодные для множества других задач.

UPD: Виталий Шаповал резонно заметил, что:

Наверняка, есть публичный индекс и его непубличная часть, поэтому “непроиндексированные Google страницы” является терминологией вводящей в заблуждение. Корректно говорить об отсутствии в индексе, что меняет постановку вопроса почему такие страницы отсутствуют.

Согласен с этим уточнением; использовал термин из исходной статьи по инерции. Впрочем для практики разница небольшая – так или иначе результирующий список url требуется проработать, рассмотрев разные причины отсутствия (не было визита робота/запрещена индексация/неподходящий контент).

Какова причина №1 для создания новых постов в блоге и страниц на сайте? Чтобы получить больше трафика, особенно из поисковых систем, верно? Что если у вас есть несколько страниц, которые не могут быть обнаружены посетителями вашего сайта и поисковыми системами? Это проблема, которую необходимо решить. Поиск бесхозных страниц (страниц без ссылок) должен стать вашим главным приоритетом, если вы намерены увеличить органический трафик на свой сайт. В этом подробном руководстве мы расскажем о том, что такое сиротские страницы, с какими проблемами вы столкнетесь при их наличии, как их легко найти и исправить. Итак, вам интересно узнать больше подробностей? Давайте перейдем к деталям.

Сиротливые страницы: руководство для начинающих по их поиску и исправлению

Что такое «сиротская страница»?

Сиротская страница — это страница без ссылок. Это означает, что на эти страницы нет ссылок из других разделов вашего сайта. Это так же, как дом без адреса, город без пин-кода. Орфанная страница, как следует из самого названия, определяет ее как «страницу без родительской ссылки, то есть сироту». Первый шаг к ранжированию ваших страниц в поисковых системах, таких как Google, — это их индексация. Создание привлекательного контента, построение качественных обратных ссылок, оптимизация страниц и т.д. — все это придет позже, но сначала необходимо проиндексировать страницу, чтобы она появилась в результатах поиска Google. Страницы, которые даже не включены в карту сайта вашего сайта, вообще не ранжируются в поиске Google, потому что на них нет ссылок, указывающих на них (будь то внутренние или внешние ссылки). Итак, чтобы ранжировать ваши страницы в поиске Google, сначала поисковые боты Google должны узнать о существовании ваших страниц. Для этого на ваши страницы должны вести ссылки либо с вашего собственного сайта, либо с других сайтов. Если вы создаете слишком много статей в своем блоге, то велика вероятность того, что вы можете забыть о создании ссылок для некоторых из этих статей или даже о создании интерлинков на них с других страниц.

В этом случае возникает проблема сиротских страниц. Вот почему вам необходимо найти и исправить «сиротские» страницы, чтобы улучшить органическое ранжирование каждого сообщения в блоге или страницы, опубликованной на вашем сайте. Проще говоря, сиротские страницы — это страницы, которые можно найти только по прямому URL-адресу и на которые нельзя попасть с других внутренних страниц сайта. Как мы уже говорили выше, чтобы быть найденным в поиске Google, поисковые боты Google должны обязательно знать о существовании ваших страниц. Боты поисковых систем обычно переходят по ссылкам, чтобы проиндексировать ваши страницы. Только после индексации ваших страниц в результатах поиска, ваши страницы начнут появляться в поиске Google. Только когда ваши страницы начнут появляться в результатах поиска, у вас появятся шансы улучшить их рейтинг органическим путем. Поэтому если у вас слишком много страниц-сирот, это определенно плохо для SEO. Потому что поисковые системы, такие как Google, не собираются индексировать эти страницы, поэтому вы никак не сможете найти их в Google, а значит, не будет ранжирования и поискового трафика на ваш сайт. Эти страницы вредны для SEO по многим причинам, включая:

• Они мешают вам получать больше трафика из Google
• Низкие показатели конверсии

Когда мы упомянули ссылки, они включают в себя все ссылки, такие как;

• Ссылки с других сайтов
• Ссылки из карты сайта
• Ссылки из ваших собственных статей, которые являются релевантными (внутренние ссылки)
• Ссылки на главную страницу
• Ссылки на категории и так далее

Итак, каков итог? Если статья или страница на вашем сайте важна для вас, вы должны обязательно добавить ссылки на эту страницу с других релевантных страниц вашего сайта, чтобы Google сначала проиндексировал эту страницу, а затем ранжировал ее.

Страницы-сироты против тупиковых страниц

Как мы уже говорили выше, сиротские страницы определяются как страницы без входящих ссылок, они изолированы от структуры ссылок вашего сайта, поэтому люди не могут найти их (включая поисковые машины), не зная URL конкретной страницы. Тупиковые страницы также похожи на страницы-сироты, поскольку они становятся тупиковыми и оставляют посетителей вашего сайта, которым нечего делать дальше и некуда идти. Вот несколько примеров тупиковых страниц на сайте.

• 404 страницы, которые также рассматриваются как неработающие ссылки
• Авторские страницы (обязательно включайте ссылки на страницу «О нас» или другие важные страницы вашего сайта вместо того, чтобы просто размещать информацию об авторе на авторских страницах, таким образом вы сможете избежать тупиковых страниц)
• страницы оформления заказа для электронной коммерции (что вы делаете, когда кто-то совершает покупку в вашем магазине электронной коммерции? Если вы не предоставляете им никаких дальнейших возможностей, будь то просмотр сопутствующих товаров или что-то еще, они просто покинут ваш сайт)

Лучший способ найти тупиковые страницы на вашем сайте — использовать Google Analytics. Используйте Google Analytics для отслеживания путей, которые проходят посетители вашего сайта, и выясните, какие страницы на вашем сайте имеют самый высокий показатель выхода. Таким образом, вы сможете добавить больше ссылок или исправить страницы 404, чтобы устранить или уменьшить количество тупиковых страниц на вашем сайте.

Как найти и исправить сиротские страницы на вашем сайте? 3 способа

Давайте теперь поговорим о самом важном разделе. Как найти и исправить все «сиротские» страницы на вашем сайте? Чтобы найти и исправить эти страницы на вашем сайте, вам необходимо иметь доступ к нескольким SEO-инструментам, таким как:

• Semrush
• Yoast premium SEO plugin
• Кричащая лягушка

Хотя вам не нужен доступ ко всем вышеперечисленным инструментам, мы поговорим о том, как вы можете использовать каждый из них, чтобы легко найти и быстро исправить неработающие страницы на вашем сайте. Вы готовы? Давайте начнем!

Использование Semrush Site Audit

Один из лучших способов найти все «сиротские» страницы на вашем сайте — использовать Semrush. Semrush — это ЕДИНСТВЕННЫЙ инструмент SEO, который мы используем уже более 3 лет в Bloggers Passion, а также наиболее рекомендуемый SEO-экспертами. Если вам интересно, что вы можете сделать с помощью Semrush, вот несколько преимуществ использования этого инструмента.

• с легкостью проводить исследования ключевых слов
• находить и оценивать посещаемость любого веб-сайта
• проводить аудит сайта (здесь также можно найти страницы-сироты)
• анализ конкурентов
• сравнение доменов
• мониторинг бренда
• и далее по списку

Быстрое примечание: В течение ограниченного времени мы предлагаем бесплатную 30-дневную пробную версию аккаунта Semrush pro стоимостью $119,95.

Вам необходимо получить доступ к инструменту Semrush, поэтому обязательно воспользуйтесь приведенной выше ссылкой для получения бесплатной пробной версии, чтобы вы могли легко найти бесхозные страницы на своем сайте. Вам нужно использовать функцию «аудит сайта» от Semrush, чтобы иметь возможность найти все сиротские страницы на вашем сайте. Если вам интересно, как проводить аудит сайта, вот пошаговое руководство о том, как использовать Semrush для легкого поиска бесхозных страниц.

Шаг 1: Чтобы воспользоваться функцией аудита сайта, сначала необходимо создать проект с URL вашего сайта. После создания проекта с использованием URL-адреса вашего сайта подождите, пока ваш сайт не будет просмотрен Semrush. Как только это будет сделано, Semrush site audit даст вам обзор вашего сайта, предоставив вам общий балл из 100 (чем выше балл, тем меньше проблем у вашего сайта). Вот как это выглядит;

Как вы можете видеть выше, это аудит сайта Bloggers Passion, где мы получили общую оценку 94 из 100, и все еще есть несколько ошибок и предупреждений (которые мы должны исправить, чтобы улучшить общую оценку). В целом, функция аудита сайта от Semrush показывает вам 3 важные вещи, которые включают;

• Ошибки, которые будут показаны красным цветом, являются наиболее серьезными проблемами на вашем сайте, и вам необходимо исправить их как можно скорее, чтобы повысить рейтинг в поисковой выдаче и улучшить видимость.
• Предупреждения будут показаны оранжевым цветом и представляют собой проблемы средней тяжести, и от них тоже нужно постараться избавиться.
• Уведомления выделены синим цветом и считаются менее серьезными, чем ошибки или предупреждения. Хотя они не влияют на общий показатель здоровья сайта, но от них тоже стоит избавиться.

Шаг 2: Как уже говорилось выше, после того, как аудит сайта будет выполнен для URL вашего сайта, перейдите на вкладку ‘Issues’ и нажмите кнопку ‘Select an Issue’. Проверьте раздел «Уведомления», чтобы узнать, есть ли на вашем сайте сиротливые страницы или нет. Вот как это выглядит;

Как вы можете видеть выше, вы можете быстро найти список всех сиротских страниц вместе с их URL-адресами всего одним щелчком мыши.

Шаг 3: Подключите учетную запись Semrush к Google Analytics для получения лучших результатов. Лучший способ легко и точно найти список всех бесхозных страниц на вашем сайте — это подключить учетную запись Semrush к учетной записи Google Analytics. Чтобы подключить учетную запись Google Analytics из Semrush, нажмите на шестеренку в правом верхнем углу и следуйте инструкциям мастера. Вот как это выглядит;

После подключения вы можете повторно запустить функцию аудита сайта для повторного сканирования вашего сайта, чтобы найти и устранить все важные проблемы, такие как неработающие страницы на вашем сайте.

Шаг 4: Делайте больше, чем поиск бесхозных страниц. Самое замечательное в использовании таких инструментов, как Semrush, заключается в том, что они помогают легко найти страницы с одной внутренней ссылкой (это страницы, которые не являются сиротскими, но имеют только одну внутреннюю ссылку, указывающую на них). Таким образом, найдя страницы с одной внутренней ссылкой и добавив еще несколько релевантных внутренних ссылок, вы сможете повысить общий рейтинг и увеличить количество ссылок на этих страницах. Чтобы найти страницы с одной внутренней ссылкой, перейдите на вкладку ‘Issues’ и нажмите на кнопку ‘Select an Issue’. Проверьте раздел ‘Заметки’, чтобы найти страницы с 1 внутренней ссылкой. Вот как это выглядит;

Как вы можете видеть выше, у нас есть около 45 страниц на Bloggers Passion с одной внутренней ссылкой. Поэтому хорошей практикой SEO является добавление большего количества входящих внутренних ссылок на эти 45 страниц с полезным и релевантным контентом. Таким образом, мы можем быть уверены, что посетители сайта и поисковые системы, такие как Google, никогда не пропустят их. Вот и все. Вот как вы можете использовать функцию аудита сайта Semrush, чтобы легко найти страницы-сироты, а также страницы с одной внутренней ссылкой. Давайте теперь поговорим о другом невероятном инструменте (который также является бесплатным) для легкого поиска бесхозных страниц на вашем сайте.

Использование Screaming Frog SEO Spider

Знаете ли вы, что с помощью Screaming Frog SEO Spider (это бесплатный SEO-инструмент) вы можете легко проползти по сайту, как это сделал бы Googlebot? Да, вы можете сделать это, а также экспортировать все URL-адреса вашего сайта с помощью инструмента Screaming Frog. Прежде чем мы поговорим о том, как использовать Screaming Frog для поиска «сиротских» страниц на вашем сайте, во-первых, вам нужно составить список всех URL, которые вы опубликовали на своем сайте. Если на вашем сайте слишком много опубликованного содержимого, поиск всех URL будет сложной задачей. Вот тут-то и пригодится такой плагин, как Export All URLs. После установки и активации плагина выполните следующие простые действия.

• Выберите все типы, включая страницы, посты и пользовательские типы постов
• Выберите все дополнительные данные, такие как URL, названия и категории
• Статус сообщения: Опубликовано
• Тип экспорта: .CSV

Нажмите на кнопку «Экспортировать сейчас», и все готово. Теперь у вас будет список всех опубликованных URL вашего сайта в CSV-файле, к которому вы сможете легко получить доступ в любое время. Теперь давайте поговорим о Screaming Frog для поиска «сиротских» страниц на вашем сайте. Вот как вы можете просмотреть все страницы вашего сайта с помощью Screaming Frog.

Шаг 1: Установите Screaming Frog и убедитесь, что ваш режим ползания установлен по умолчанию «Паук» и снимите флажок с кнопки «Внешние ссылки», которую вы можете найти в разделе Конфигурация > Паук, ‘Проверка внешних ссылок’, чтобы избежать ползания по внешним сайтам, что также сэкономит вам кучу времени.

Шаг 2: На этом этапе введите URL вашего сайта и нажмите кнопку Start, после чего начнется сканирование. После завершения просмотра перейдите на вкладку Внутренние, нажмите на Фильтр по HTML и затем нажмите Экспорт (и сохраните в .CSV-файл). Вот как это выглядит;

Теперь у вас есть список всех URL-адресов на вашем сайте. Сохраните этот файл, чтобы мы могли использовать его в следующем шаге для поиска бесхозных страниц.

Шаг 3: Теперь вы можете использовать Screaming Frog SEO Log File Analyser, чтобы легко просмотреть и проанализировать, какие именно URL-адреса Googlebot и другие поисковые боты смогли проползти, а также обнаружить все «сиротские» страницы вашего сайта. Вот как это сделать. Во-первых, импортируйте файл журнала. Здесь вам нужно импортировать данные URL, которые мы собрали в шаге 2.

Теперь просто перейдите на вкладку URLs и нажмите на «Not in URL Data». Это покажет вам список всех URL-адресов, которые были найдены в файле журнала, но отсутствуют в просмотренных данных. Вот как это выглядит;

Вот и все, вы закончили. Вот как вы можете использовать Screaming Frog, чтобы легко найти страницы без ссылок на вашем сайте. Давайте теперь поговорим о другом способе легко найти бесхозные страницы на вашем сайте, который заключается в использовании премиум-плагина Yoast SEO. Одним из лучших способов найти бесхозные страницы на вашем сайте является использование премиум-плагина WordPress SEO By Yoast. Это исключительный SEO-плагин, который в первую очередь используется для оптимизации постов и страниц вашего блога под целевые ключевые слова. Помимо оптимизации, он также поможет вам легко найти бесхозные страницы на вашем сайте. Взгляните на бесхозные страницы на нашем сайте Bloggers Passion. Плагин Yoast SEO быстро находит бесхозные страницы на вашем сайте и отображает их в отдельной вкладке (как только вы войдете в панель управления WordPress), вы сможете легко их найти. Если на вашем сайте установлен Yoast SEO premium (мы уже используем премиум-версию плагина Yoast), то ваш обзор Posts будет выглядеть следующим образом;

Если вы перейдете на вкладку «Orphaned Content», вам будет показан список всех осиротевших страниц с названиями и ссылками на посты или страницы. Как вы можете видеть выше, в настоящее время на нашем сайте тоже есть несколько осиротевших страниц. Мы пытаемся уменьшить их количество, улучшая их и добавляя дополнительные внутренние ссылки. Плюс использования плагина Premium Yoast в том, что он также уведомляет вас о бесхозных страницах на вашем сайте. Вот как это выглядит;

Как вы можете видеть выше, вы можете легко найти;

• Сиротливые посты без входящих ссылок (внутренних ссылок)
• Сиротливые страницы без входящих ссылок

Вот как вы можете легко найти бесхозные страницы и посты на вашем сайте с помощью премиум-плагина Yoast (эта функция недоступна в бесплатной версии). Если вам интересно, какие преимущества вы получаете с премиум-версией плагина Yoast SEO, вот некоторые из них.

• Возможность нацеливать несколько ключевых слов для каждого сообщения
• Сиротский контент (легко находить сиротские посты и страницы)
• Предложения по внутренней перелинковке
• Опция социального предварительного просмотра

Кроме того, вы можете легко управлять настройками пермалинка вашего сайта и редактировать такие вещи, как удаление стоп-слов из слизней, управление некоторыми перенаправлениями и каноническими настройками.

Что делать после обнаружения бесхозных страниц на вашем сайте?

До сих пор мы обсуждали различные SEO-инструменты для поиска всех бесхозных страниц на вашем сайте. Теперь, что делать после того, как вы нашли бесхозные страницы на своем сайте? К счастью, справиться с бесхозными страницами на вашем сайте очень просто (но это отнимает много времени). Вам просто нужно добавить одну или две (желательно более 2) внутренние ссылки на все сиротские страницы, которые обнаружены на вашем сайте. Вот и все. Вам просто нужно знать, как делать внутренние ссылки на другие посты, которые являются релевантными, и проблема сиротских страниц будет решена мгновенно. Как только вы начнете обновлять все посты и страницы вашего блога релевантными внутренними ссылками, обязательно зайдите в Google. Если вы еще НЕ используете карту сайта, обязательно используйте Google XML sitemap или функцию Yoast XML sitemap, чтобы помочь ботам Google легко находить и индексировать ваше последнее содержимое при каждой публикации.

Что делать, если вы не хотите сохранять запись в блоге или страницу? Как мы уже говорили, вы можете легко решить проблему сиротских страниц на своем сайте, включив 1-2 внутренние ссылки. Но что делать, если вы не хотите сохранять на своем сайте записи блога или страницы? По какой-либо причине, если некоторые из ваших «сиротских» страниц имеют скудный контент или устаревшее содержание, вы можете использовать 301 редирект, чтобы легко решить проблему «сиротских» страниц. Обязательно используйте 301 редирект для URL-адреса «сироты» на наиболее релевантную страницу вашего сайта (которая должна быть легко доступна для ботов поисковых систем и пользователей вашего сайта).

Быстрый совет: Вы можете использовать плагин Simple 301 Redirects, чтобы легко перенаправить ваши сиротские страницы на другие соответствующие страницы вашего сайта, он также передает сок ссылок, не приводя к появлению страниц с ошибкой 404.

Примечание: Если вы не хотите добавлять 301 редирект и по-прежнему хотите использовать на своем сайте «сиротские» страницы, вам стоит добавить к ним тег noindex, чтобы они не индексировались в поиске Google. Вы можете легко сделать это с помощью такого плагина, как WordPress SEO by Yoast.

Важное замечание, которое следует помнить. Вы должны убедиться, что каждая публичная страница и сообщение в блоге на вашем сайте должны последовательно использовать http или https (предпочтительнее https, поскольку это защищенная версия, которая также улучшает рейтинг в поиске) и www или non-www. Вы не можете сделать так, чтобы некоторые страницы вашего сайта работали на www, а другие на не www, так как это может привести к проблеме сиротских страниц. Поэтому, если вы хотите проверить, есть ли у вашего сайта такая проблема, попробуйте ввести в браузер все следующие 4 варианта домашней страницы вашего сайта

• https://www.example.com
• http://www.example.com
• https://example.com
• http://example.com

Небольшое примечание: замените слово «example» на доменное имя вашего сайта и попробуйте все вышеперечисленные 4 варианта.

Не имеет значения, какой вариант из вышеупомянутых 4 вариантов вы пробуете, все они должны автоматически перенаправлять на один и тот же URL без каких-либо проблем.

Часто задаваемые вопросы

Вот несколько интересных вопросов, связанных с сиротскими страницами, которые вы можете найти полезными, чтобы лучше справляться с ними в 2022 году и в последующие годы.

Как избежать появления сиротских страниц на моем сайте в будущем? Сиротские страницы могут появляться на сайте по многим причинам, включая;

→ старые страницы не имеют ссылок, но уже опубликованы → проблемы с архитектурой вашего сайта → отсутствие перелинковки на собственные страницы со страницы (или отсутствие ссылок на страницу)

Таким образом, если вы позаботитесь о вышеперечисленных вещах, вы сможете легко избежать появления «сиротских» страниц на вашем сайте в будущем. Просто не забудьте добавить внутренние ссылки на каждый пост и страницу, которые вы создаете.

Вредно ли для SEO иметь слишком много бесхозных страниц на моем сайте? Наличие небольшого количества бесхозных страниц не наносит никакого вреда вашему сайту, но наличие слишком большого количества бесхозных страниц может привести к различным проблемам, таким как;

→ Не обнаруживается посетителями вашего сайта → Не индексируется в поиске Google → Приводит к плохой архитектуре сайта → И список можно продолжать.

Как исправить бесхозные страницы на вашем сайте? Существует множество способов найти и исправить бесхозные страницы на вашем сайте. Но самый простой и эффективный способ — получить доступ к нескольким инструментам, таким как;

→ премиум-версия WordPress SEO by Yoast (поскольку она поможет вам легко определить все бесхозные страницы и посты на вашем сайте без входящих ссылок) → Semrush (это один из самых мощных инструментов SEO, позволяющий легко исправить бесхозные страницы на вашем сайте) → Screaming Frog (еще один полезный инструмент SEO, который большинство людей используют для легкого обнаружения и исправления бесхозных страниц на сайте).

В чем разница между битыми ссылками и ссылками-сиротами? Сиротские ссылки — это страницы без ссылок (в основном внутренние ссылки с одного сайта), что означает, что их не могут найти посетители сайта, а поисковые системы не могут их проиндексировать. Битые ссылки — это ссылки, которые не существуют (больше). Если вы нажмете на неработающую ссылку, вы увидите страницу 404, показывающую, что веб-страница недоступна (или сообщения типа «страница не найдена»).

Должен ли я включать XML sitemap в свой сайт? Да, каждый сайт должен включать XML sitemap, поскольку это облегчает Google поиск страниц на вашем сайте. Это означает, что всякий раз, когда вы публикуете статью на своем сайте, она включается в карту сайта, чтобы поисковые системы могли легко найти ваш новый опубликованный контент и быстрее его проиндексировать.

Заключительные размышления

ЛУЧШИЙ способ избавиться от бесхозных страниц на вашем сайте — это добавить внутренние ссылки в каждую запись блога и страницу, которую вы публикуете. Постарайтесь включить хотя бы одну или две внутренние ссылки для каждого поста или страницы на соответствующие статьи на вашем сайте, чтобы избежать бесхозных страниц на вашем сайте. К счастью, существуют такие инструменты, как Semrush, SEO by Yoast, Screaming Frog и т.д., которые помогут вам легко найти все бесхозные страницы на вашем сайте. Обязательно добавьте внутренние ссылки, как только вы найдете эти бесхозные страницы, и все готово.

Просмотров: 246

Вопрос следующего характера: Платонам нужно предоставить непроиндексированные страницы, чтобы они разобрались, почему они не вошли в индекс. Есть ли сервис, который может показать, какие конкретные страницы не в индексе? Чтобы вручную не вбивать каждую в Яндекс и не проверять наличие урла в индексе поисковика?

Поскольку я лентяй, то успокаиваю себя тем, что природа неиндексации в принципе одна. 

Суть этой теории: Достаточно показать Платонам 2 – 3 непроиндексированные статьи, и после этого, если они примут к сведению, проблема решается для десятков других статей, которые залетели под “не-индекс”. 

Это конечно, топорно, но факт остается: дашь Платонам 3 статьи, в индекс придет еще 30 – про которые я и знать не знал…. )))

Так что не думаю, что Платонам нужны десятки и сотни. 

Они же так и пишут : ПРИМЕРЫ статей. Или я неправ?

Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. Сейчас же расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.

Список проиндексированных страниц

Для того чтобы получить полный список проиндексированных страниц в Яндексе, необходимо зайти в раздел Индексация > Страницы в поиске > вкладка «Все страницы».

Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.

В новой версии Google Search Console также появилась возможность увидеть список всех проиндексированных страниц. Для этого нужно зайти в отчет «Покрытие» (в разделе «Индекс»).

В списке ниже представлена информация о страницах, о которых известно поисковой системе и дополнительная информация по ним.

Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».

Проверка индексации

Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:

В ходе сравнения могут возникнуть следующие ситуации:

Для удаления страниц в Вебмастере существует инструмент «Удаление страниц из поиска», позволяющий единовременно удалить до 500 отдельных страниц или группу страниц по префиксу в url. Главное, чтобы страницы были закрыты от индексации.

Инструмента для принудительного удаления страниц у Google нет, но можно временно удалить свои URL из результатов поиска.

Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».

Далее указываем URL страницы, которую вы хотите скрыть. Выбираем из списка необходимое действие и отправляем запрос.

Ждите новые заметки в блоге или ищите на нашем сайте.

1. 	28.07.2011 22:21
   Старый оптимист Репутация: 367 Webmoney BL: ?	Решил отметиться тут полезным “мануальчиком” для форумчан… В общем многие задаются вопросом как найти сайты, которые Яндекс не проиндексировал. Как в дальнейшем использовать эту инфу спросите вы? Отвечу – в большинстве случаев это тонны контента для ваших будущих сайтов 🙂 Начнем. Многие знают, что Гугл индексит гораздо больше сайтов чем Яша. Этим мы и воспользуемся. Берем вот тут парсер гугла (описание прожки тут) Задаем нужные вопросы и собираем выдачу. Далее полученный список загоняем в эту программу (описание тут), выставляем проверку проиндексированности в Яше. Вуаля – мы получили список сайтов, которые не проиндексированы в Яндексе. Пользуйтесь 🙂
   35
   Спасибо сказали: Artoha (15.09.2011), Asin(29.07.2011), audit(02.10.2014), b00mer(28.01.2012), Cyberflow(30.01.2012), CyCJIuK(10.09.2014), dev1(17.03.2012), Eardor(28.07.2011), Event(15.09.2011), exclus(21.01.2012), feuer81(01.02.2012), Gaya(27.01.2012), genesis33(06.08.2013), grazer(02.09.2011), hromov(26.01.2012), hronny(14.01.2012), intern(31.08.2011), koysara(31.12.2011), Krez(19.12.2011), levko(02.09.2011), lexa82(28.12.2011), maXdonalds(28.07.2011), OKyJIucT(25.09.2011), procsi (20.02.2012), semyon(02.09.2011), Seopublic(06.12.2013), ShadowCaster(23.12.2012), sinneren(27.12.2011), Tipatot(02.09.2011), vefaro(16.06.2016), VictorSamus(23.12.2012), viczzz(13.11.2012), web31(30.01.2012), Xalson(20.01.2014), zhurik(09.05.2013), Андреев(03.09.2011), Вадим(31.08.2011),

2. 	28.07.2011 22:28
   Banned Репутация: 243 Webmoney BL: ?	я писал статью у себя на блоге и анонсировал ее в дайджесте, что проще искать такие сайты на разных биржах ссылок, например в сапе можно выбрать сайты которые под фильтром яндекса и это сделать можно не только в сапе, этот способ намного проще.
   1
   Спасибо сказали:

3. 	28.07.2011 22:32
   Старый оптимист Репутация: 367 Webmoney BL: ?	в сапе по “запросу” труднее найти нужное, проще и правильнее пользоваться напрямую поисковиками
   1
   Спасибо сказали:

4. 	28.07.2011 22:35
   Banned Репутация: 243 Webmoney BL: ?	там тоже можно вбить нужные кеи и будет список только с тематических сайтов, но сапа – это для примера, еще куча подобных бирж.
   0

5. 	28.07.2011 22:37
   Старый оптимист Репутация: 367 Webmoney BL: ?	likos, а подумать? сапа откуда нужные нам данные берет? Ответ очевиден 🙂 Так что проще и ПРАВИЛЬНЕЕ исключать всегда разных “посредников” 🙂
   0

6. 	28.07.2011 22:48
   Banned Репутация: 243 Webmoney BL: ?	сапа выдает сайты из своей базы, из сайтов которые добавлены в систему. А по поводу выдачи. Гугл индексирует все, но это не значит, что любой сайт будет в топе, обычно сайты которые банит яндекс, гугл тоже не любит ( бывают исключения ) и вот эти сайты гугл кидает под фильтр, обычно этот фильтр – сопли и такие сайты находятся не в основной выдаче и их обычно не найти на первой сотни страниц.
   0

7. 	28.07.2011 22:53
   Старый оптимист Репутация: 367 Webmoney BL: ?	сравни базу сапы и гугла 🙂 каждый метод имеет место быть, хотя… я считаю, что мой дает гораздо больше нужных результатоd 🙂
   0
   Спасибо сказали: Jast(27.01.2012),

8. 	28.07.2011 22:55
   Banned Репутация: 243 Webmoney BL: ?	Сообщение от Думка дает гораздо больше нужных результатоd я уже выше обьяснил, что результатов будет больше, но вот нужных – меньше.
   0

9. 	28.07.2011 22:57
   Старый оптимист Репутация: 367 Webmoney BL: ?	К чему спор? Давай послушаем мнение форумчан, которые и рассудят нас 🙂
   0

10. 	28.07.2011 23:16
    Дипломник Репутация: 32	Я, конечно, не судья, но мне кажется, что метод likos более простой, так как отнимает меньше времени. Но тут еще один момент забыли упомянуть. Если сайт забанен Яшей, то вряд ли у него будет уникальный, мегаинтересный контент. Скорее всего обычный копипаст или даже синонимайз. Поэтому еще надо все сайты на уникальность контента проверять. А так, спасибо.
    4