Как найти количество страниц в поисковой системе

Индексацией называется процесс сканирования поисковыми роботами страниц сайта, которые в последствии должны быть добавлены в общую базу для поиска и представления информации в выдаче на запросы пользователей Яндекса.

Конечно, это актуально только в том случае, если контент вашего сайта соответствует критериям качества, предъявляемыми поисковой системой — уникальность, полезность, отсутствие спама и т.д.

Для того, чтобы получить из Яндекса максимум трафика, этот процесс следует постоянно отслеживать, фиксируя сколько всего страниц на сайте и сколько страниц проиндексировано, а также работать над тем, чтобы этот показатель стремился к 100%.

4 способа определить количество страниц в индексе Яндекса

На сегодня SEO-специалисты выделяют 4 актуальных способа узнать количество проиндексированных страниц в Яндексе, среди них:

1. Онлайн сервисы и инструменты.

2. Яндекс.Вебмастер.

3. Расширения для браузеров.

4. Операторы поисковой системы.

Все перечисленные способы имеют свои плюсы и минусы, поэтому давайте остановимся и кратко рассмотрим каждый из них детальнее.

1. Онлайн-инструмент Пиксель Тулс

Самый простой и быстрый способ проверить количество страниц в Яндексе — это воспользоваться онлайн инструментом для быстрого аудита сайтов от Пиксель Тулс.

С его помощью всего 15-30 секунд вы получите сводку по 20+ параметрам, в том числе по индексации в Яндексе и Google.

Особенно удобно то, что результаты сохраняются в истории сервиса, к ним можно будет вернуться позже онлайн или выгрузить в файл, чтобы сравнить значения в динамике.

Рассмотрим, как выполнить проверку по шагам:

1. Зайдите на страницу онлайн-инструмента.

2. Введите домен и запустите проверку.

3. Посмотрите на значения «Страниц в индексе без поддоменов» и «Страниц в индексе с учётом поддоменов».

Интерпретировать результаты можно так, если разница между фактическим и проиндексированным количеством страниц на сайте более 10-15%, это повод проверить его на ошибки:

• Отсутствие, дублирование или низкое качество контента.

• Неправильное использование канонических URL.

• Запрет индексации в мета-теге robots или файле robots.txt.

• Низкая скорость и время загрузки.

• Неправильная настройка редиректов.

• Наличие вирусов или фильтров.

* большинство из перечисленных ошибок можно диагностировать через Яндекс.Вебмастер (разделы «Безопасность и нарушения», «Диагностика сайта» и «Все страницы в поиске»).

Бывают и другие ситуации, когда сайт молодой и его страницы ещё не успели проиндексироваться поисковой системой, в этом случае рекомендуем сделать следующее:

• Загрузить на сайт актуальную карту сайта sitemap.xml, отправить её на переобход в Яндекс.Вебмастере.

• Отправить список непроиндексированных URL на переобход через IndexNow с помощью инструмента «Проверка индексации, возраста и даты кэша».

• Закупить внешние ссылки с авторитетных ресурсов схожей тематики, не забывая про внутреннюю перелинковку.

Пользуйтесь и не забудьте добавить URL в закладки — https://tools.pixelplus.ru/tools/fast-audit.

2. Яндекс.Вебмастер

В то же время, самым достоверным способом проверить количество страниц сайта в индексе Яндекса остаётся Яндекс.Вебмастер. Но он актуален только в том случае, если это ваш сайт. Если же вы захотите узнать количество проиндексированных страниц у конкурентов, то сделать это через Яндекс.Вебмастер у вас не получится.

1. Зайдите в панель Яндекс.Вебмастера.

2. Посмотрите на значения в колонках «Загружено» (сколько всего страниц нашёл поисковый робот Яндекса) и «В поиске» (сколько фактически страниц участвует в поиске Яндекса).

3. Расширение для браузера

Каждый из современных браузеров имеет своё комьюнити, в том числе SEO-специалистов, поэтому можно с лёгкостью найти расширения, которые окажут помощь в решении этой задачи. Например, расширение Be1. Установить его можно на Яндекс.Браузер, Google Chrome, Microsoft Edge, Mozilla Firefox или Opera.

1. Зайдите на сайт.

2. Кликните на иконку расширения в браузере

3. Посмотрите на значение «Проиндексировано».

4. Синтаксис поисковых запросов Яндекс

Ещё одним способом проверить количество проиндексированных страниц в Яндексе является использование синтаксиса операторов этой поисковой системы. Он не всегда точен, особенно если количество станиц сайта в выдаче или в индексе превышает 2 000, но для небольших вполне подойдёт.

1. Зайдите в поиск Яндекса.

2. Введите в строку поиска или URL «host:site.ru».

3. Кликните на кнопку «Найти».

4. Посмотрите на значение в Title «Нашлось».

Выводы

Как мы выяснили, проверка количества проиндексированных страниц сайта является важной частью регулярного аудита в процессе его продвижения. Ведь, если страницы нет в индексе, то и клиентов на сайт она никак не сможет привести из поиска.

Используйте наш сервис и инструмент «Быстрый аудит сайта» от Пиксель Тулс, чтобы получать быстрые, актуальные и достоверные данные об индексации сайта в Яндексе.

Доверьте автоматизацию типовых задач по SEO нам, это позволит вам высвободить больше времени для решения более ценных задач. Надеемся, что эта статья вам помогла, если это так, обязательно оставьте отзыв или напишите комментарий под ней.

Вопросы и ответы

Пользуясь поисковой системой для нахождения нужных сведений, мы ищем не в интернете вообще, а в его базах. Они содержат миллиарды документов — сохранённых копий страниц сайтов.

Через внутренние и внешние ссылки, браузеры, разные инструменты, тулбары, карты сайтов поисковый робот (краулер) обнаруживает новые страницы. Если они доступны для обхода, информация выкачивается и передаётся индексирующему роботу.

Индексация сайта — это процесс добавления информации о нём и его контенте в базу данных поисковика.

Важно ли количество индексируемых страниц сайта? Да! Чем больше их попало в базу, тем выше шансы сайта быть показанным в выдаче поисковой системы. Индексация не даёт гарантию показа страниц по конкретным запросам — за это отвечает ранжирование. Непроиндексированные страницы в поисковой выдаче не показываются.

Важно отслеживать как индексацию страниц сайта в целом, так и элементов контента (изображений, стилей и др.). Это нужно, чтобы вовремя реагировать на негативные изменения и предпринимать меры по возврату страниц в индекс или по улучшению индексации сайта в целом.

Но как узнать, проиндексирован ли сайт в системе, а также сколько и какие страницы проиндексировал Яндекс? Нужна проверка.

Проверка проиндексированных страниц в поиске через операторы Яндекса

Простейший способ узнать, проиндексирован ли ресурс или его страница Яндексом, — проверить через операторы site:; url: и др.

Оператор site:

Оператор site: позволяет узнать, сколько примерно страниц проиндексировал Яндекс. Проверить это можно следующим образом:

1. откройте поиск Яндекса;
2. введите запрос «site:адрес_сайта».

Яндекс сам поможет узнать интересующие вас данные — сформирует выдачу из страниц обозначенного сайта и справа укажет примерное количество проиндексированных.В результатах выдачи будут также и страницы поддоменов указанного сайта. Если же необходимо узнать число страниц только основного домена, то используйте host:

Оператор host:

С помощью этого оператора можно искать документы, которые содержатся на определённом сайте или поддомене. Например, если в строке поиска набрать «проектор host:www.mvideo.ru», то Яндекс выдаст все страницы, содержащие слово «проектор» и размещённые на www.mvideo.ru.

При использовании данного оператора необходимо корректно указывать главное зеркало сайта, иначе поиск не даст результата.

Если не знаете, какое зеркало является главным, можно указать сразу оба варианта, использовав комбинацию host:www.адрес_сайта | host:адрес_сайта.

Оператор url:

Оператор url: позволяет узнать, проиндексирована ли в Яндексе конкретная страница. Проверить это можно следующим образом:

1. откройте поиск Яндекса;
2. введите запрос «url:адрес_страницы».

Если проверяемая страница прошла индексацию, то появится в поисковой выдаче.

Оператором url: можно проверить также количество проиндексированных страниц в Яндексе, введя в строку поиска «url:адрес_страницы/*». Звездочка задаёт команду поисковику показать все страницы, адрес которых начинается с заданного.

Но это срабатывает не всегда. Лучше для такой цели использовать оператор site:

Проверка индексации страниц через Яндекс.Вебмастер

Удобный способ проверки индексации страниц сайта предлагает сам Яндекс. Речь о сервисе Яндекс.Вебмастер. Он бесплатный и даёт достоверную информацию. Чтобы с его помощью проверить, какие страницы попали в индекс, нужно:

1. авторизоваться в аккаунте Яндекса (если аккаунта нет, завести);
2. зайти в сервис (https://webmaster.yandex.ru/welcome/) и нажать «Перейти»;
3. добавить URL (указать адрес сайта, участие которого в поиске вас интересует);
4. подтвердить права;
5. получив доступ, заглянуть в «Индексирование – Страницы в поиске – История».

Так удастся увидеть все страницы, участвующие в поисковой выдаче, и при необходимости скачать сводную таблицу.

Здесь же можно проверить статус конкретного URL, посмотреть статистику проиндексированных страниц в Яндексе или структуру сайта.

Плагины и расширения браузера для проверки индексации страниц

Для частой автоматической проверки индексации сайтов можно пользоваться специально разработанными плагинами и браузерными расширениями. Рассмотрим наиболее популярные.

RDS Bar

Быстро проанализировать SEO-показатели помогает RDS Bar. Он позволяет выяснить:

Включив расширение, следует внимательно пройтись по настройкам. Не все инструменты и функции требуются постоянно. Лучше включить опцию «Проверять по кнопке», чтобы совершать анализ только тогда, когда это нужно.

Количество всех проиндексированных страниц в Яндексе показывает вкладка «Индекс Я». Находится ли текущая страница в поиске, показывает кнопка «Индекс Я стр».

Расширение RDS Bar позволяет работать с Яндексом и Google.

SEO-tools

SEO-tools — ещё одно популярное расширение, помогающее проверять индексацию ресурса в Яндексе, находить SEO-ошибки и проводить технический аудит. Приложение также показывает IP и страну сайта, хостинг-провайдера, дату регистрации, возраст домена, плотность ключевых слов страницы, историю вирусной активности и другие параметры.

Чтобы посмотреть информацию относительно индексации, для начала надо установить плагин — кнопка SEO-tools появится в строке расширений. Затем заходим на сайт, который требуется проверить, и нажимаем кнопку. Появляется окно, где отображаются параметры сайта.

В этом окне находим раздел «Индексация». Там можно посмотреть:

Помимо сведений об индексации расширение даёт и другую полезную информацию.

Seo Magic

Специализированное расширение Seo Magic позволяет узнать, сколько страниц находится в поиске (т. е. проиндексировано Яндексом), показывает ИКС.

Достаточно зайти на интересующий вас сайт и нажать кнопку расширения в правом верхнем углу.

Be1

Благодаря многофункциональному плагину Be1 можно провести целый SEO-анализ сайта. Одна из функций расширения предполагает проверку индексации в Яндексе, помогает узнать количество проиндексированных поисковиком страниц.

Be1 показывает индексацию в Яндексе и Google.

SEOquake

Посмотреть различные показатели сайта позволяет расширение SEOquake. Выскакивающая табличка сообщает число страниц, прошедших индексирование в разных поисковиках, показывает рейтинг в Alexa и SEMrush и даже количество лайков в соцсетях.

Картинка отображает табличку расширения. Вместе с плагином устанавливается SEOBAR, который можно отключить при необходимости.

Букмарклеты

Схожий принцип действия имеют букмарклеты — небольшие JavaScript-программы, которые можно «перетащить» на панель закладок. Пользоваться букмарклетами следует так же, как вышеперечисленными плагинами: зайти на интересующий сайт и нажать нужную вкладку. Программы проверяют индексацию посредством оператора site: или url:

Онлайн-сервисы для проверки индексации страниц сайта в Яндексе

Помощь в проверке результата индексации страниц сайтов в Яндексе оказывают сторонние ресурсы. В интернете можно найти несколько таких онлайн-инструментов, рассмотрим четыре самых популярных.

Сервис PR-CY.RU

Наиболее удобный в использовании сервис — PR-CY.RU. Выглядит он так:

В соответствующее поле нужно ввести адрес сайта и нажать «Анализировать». Сервис выдаст все предусмотренные для бесплатного тарифа параметры. Зарегистрировавшись, удастся расширить возможности сервиса. Количество бесплатных пробных дней — 7.

На иллюстрации выше показаны проиндексированные страницы.

Сервис Raskruty.ru

Быстро выяснить количество проиндексированных страниц и наличие конкретной страницы в индексе Яндекса поможет сервис Raskruty.ru. Выглядит он так:

В соответствующее поле нужно ввести адрес либо адреса нескольких нужных страниц. Максимальное количество URL — 10. Следует обратить внимание, что показатели могут отличаться от того, как вы напишете адрес — с www или без. Подсчёт не заставит ждать.

На примере видно, что результаты показываются под полем, в которое вы вводили список URL.

Сервис SeoLik

Следующий онлайн-сервис, который легко посчитает количество страниц в индексе, — SeoLik (https://seolik.ru/index-site-yandex). Достаточно ввести адрес домена и цифры с картинки.

Результат с количеством проиндексированных Яндексом страниц ищите ниже.

Картинка иллюстрирует результат проверки.

Сервис arsenkin.RU

Ещё один похожий инструмент предлагает arsenkin.RU. Работать с сервисом, в том числе бесплатно (с лимитом 100 проверок в день), могут только зарегистрированные пользователи. Одновременно выяснять индексацию можно для 5000 URL. Кстати, чтобы проверять индекс в Яндексе, достаточно бесплатного тарифа, а вот информацию из Google можно получить, лишь заплатив.

С бесплатной подпиской одновременно удастся выполнить только одну задачу, зато делать это можно аж 100 раз.

Программы на ПК для проверки индексации страниц

Кроме «виртуальных» существуют и «стационарные» способы проверки индексации — всевозможные программы, которые устанавливаются на ПК. Наиболее востребованы Netpeak Checker и Screaming Frog SEO Spider.

Netpeak Checker

Программа Netpeak Checker — это десктопный инструмент, позволяющий парсить поисковую выдачу и получать данные для анализа сайта. Проверить страницы в индексе можно в Яндексе, Google, Bing, Yahoo. Сервис позволяет также узнать время кеширования URL.

Чтобы получить информацию об индексации, нужно:

1. установить Netpeak Checker на компьютер и запустить программу;
2. добавить нужные страницы сайта вручную — из буфера или путём выгрузки;
3. настроить параметр «Индексация» для интересующего поисковика;
4. нажать кнопку «Старт» и дождаться результата.

Четыре простых шага — и вот перед вами нужная информация. На картинке ниже отображены все урлы и полученные по ним данные.

В столбце «Индексация» для каждой страницы будут даны обозначения TRUE (страница проиндексирована) или FALSE (страницы в индексе нет). В столбце «Проиндексированные URL» появится число проиндексированных страниц сайта.

Screaming Frog SEO Spider

Screaming Frog, он же SF, Spider или паук, — одна из излюбленных программ SEO-оптимизаторов. Она помогает составить полный технический анализ внутреннего содержимого сайта и наметить план дальнейшей оптимизации. Проверка индексации предусмотрена здесь как дополнительная полезная и удобная фишка — программа позволяет проконтролировать индексацию конкретных страниц.

Алгоритм проверки индексации через Screaming Frog SEO Spider несложен:

1. открыть основное окно программы, ввести URL нужного сайта, нажать «Старт»;
2. выбрать адрес из появившегося списка, кликнуть URL правой кнопкой мыши;
3. в выпавшем меню выбрать Check Index.

Результат вы получите сразу, однако если цель только в контроле индексации, то лучше пользоваться другими сервисами.

Причины проблем с индексацией страниц сайта в Яндексе

Проблемы с индексацией в системе Яндекс нередки. Они могут выражаться в том, что отдельные страницы не попадают в индекс, или в том, что весь сайт никак не находится в поиске. Такие ситуации возможны, когда:

В среднем для индексации нового сайта (новых разделов) требуется около двух недель. Иногда этот срок меньше, а иногда достигает месяца. Беспокоиться стоит, если по прошествии максимального периода ваш ресурс так и не попал в поисковую базу.

Робот ещё не нашёл страницу или сайт

Почему роботу не удаётся находить страницы и сайты? Если уже прошло достаточно времени и «молодость» площадки не может быть причиной отсутствия в поиске, следует проверить следующее:

1. Ресурс скрыт (полностью или только часть) от ботов. Возможная причина — запрет в robots.txt или присутствие метатега noindex.
2. Ресурс заблокирован. Надо проверить файл .htaccess и настройки в системе администрирования.
3. Плохая навигация. Сложная иерархия, вложенность страниц, динамически создаваемый контент, отсутствие карты сайта усложняют работу бота.

Бывает такое, что краулеру просто неизвестно о появлении нового сайта. Сообщить о возникновении ресурса можно разными способами:

Кроме перечисленных есть и другие способы рассказать о себе. Лучше использовать все возможности, тогда о новом сайте узнают не только роботы, но и пользователи интернета.

Страница/сайт не уникальны

Часто владелец сайта спешит запустить своё детище, наполняя его текстами и картинками, найденными у конкурентов. Логика проста: работает у них, заработает и у меня. К сожалению, уникальность контента имеет большое значение. Бот не добавит в индекс страницу, содержание которой ему уже известно.

Внутренние дубли также выпадают из поиска как бесполезные для пользователей. Внутренними дублями могут быть страницы сортировки, страницы для печати и другие URL, которые схожи по содержанию.

Контент страницы должен максимально отражать её назначение.

Спамные страницы

Проблемы с индексацией возникают из-за спамности страниц. Вот в чём она выражается:

На картинке ниже представлен пример спамного текста.

За спамный контент поисковики могут налагать на сайт санкции. Системы не только исключат страницы из индексации, но и усложнят процесс возвращения в поисковую выдачу. Лучше изначально размещать на своём ресурсе полезные уникальные материалы, чем потом думать, как исправить негативную ситуацию.

Вся соль

Индексация — это процесс получения, обработки и хранения информации в поисковых базах.

Чем больше страниц попало в базу, тем выше шансы площадки оказываться в поисковой выдаче. Индексация не гарантия показа страниц по конкретным запросам, но чем больше URL в индексе, тем выше входящий трафик. Страницы, не проиндексированные поисковиком, в выдаче не участвуют.

Важно отслеживать индексацию ресурса и отдельных страниц.

Проверить индексирование сайта можно разными способами: через операторы Яндекса, плагины и расширения браузера, специализированные онлайн-инструменты и программы, Яндекс.Вебмастер.

Страницы не индексируются по разным причинам. Это могут быть технические ошибки, неуникальность контента, спамность, санкции со стороны поисковиков.

От автора

Важно следить за количеством проиндексированных страниц сайта. Резкий рост и резкое снижение страниц в индексе, означает, что на сайте существуют проблемы или ошибки которые решать и исправлять.

Способы узнать количество проиндексированных страниц в Гугле

Способ 1. Search Console

Чтобы следить за всеми показателями сайта в поиске Google, нужно зарегистрировать сайт Search Console, – сервисе для комплексного анализа показателей сайта в поиске Гугле.

После регистрации, подтверждении прав на сайт и выполнении необходимых настроек, сервис должен набрать статистику по сайту, в том числе показать, сколько страниц есть в индексе Гугле.

Посмотреть количество и их список можно на вкладке Индекс Google>>>Статус Индексирования.

На диаграмме страницы сервис покажет  динамику индексации страниц за год в двух вариантах: Только основные и Расширенные данные.

Основные данные показывают количество страниц в индексе и график индексации по месяцам за год.

Расширенные данные покажут, сколько страниц закрыты от сканирования в файле robots.txt, и сколько страниц вы сами удалили из индекса за текущий год.

Важно! Резкое снижение и резкое увеличение страниц в индексе Гугле, не связанное с вашими действиями на сайте, может говорить о проблемах.

Например, резкое увеличение может говорить о взломе сайта, автоматическим созданием контента, большим количеством дублей. Резкое снижение, говорит, о невозможности Гугле сканировать часть вашего контента или санкциях наложенных новым алгоритмом.

Как говорит сам Google в своих рекомендациях:

Стремитесь к стабильным показателем роста страниц в индексе. Стабильный рост просканированных и проиндексированных страниц сайта говорит, что Гугле регулярно получает доступ к содержанию и индексирует ваш ресурс.

Информация Search Console доступна только после подтверждения прав на сайт, а значит, не всегда доступна и не может использоваться для анализа сайтов конкурентов.

Как в этом случае узнать количество проиндексированных страниц в Гугле?

Способ 2. Язык запросов

Общее количество (приблизительное) проиндексированных страниц сайта можно получить сразу в выдаче Google, сделав такие запросы:

• site:www.example.ru
• site:example.ru
• site:https://www.example.ru
• site:https://example.ru
• site:http://www.example.ru
• site:http://example.ru

, в которых example.ru нужно поменять на свой домен. Без пробелов.

Нажав на кнопку «настройки» внизу поиска можно посмотреть, какие страницы поисковик проиндексировал за час, 24 часа, неделю, месяц.

Второй способ не очень корректный и дает выдачу со всеми страницами, где есть ваш сайт. Включая соцсети, сервисы проверок и т.д. Более точную информацию по количеству проиндексированных страниц в Гугле может дать одно из специальных расширений браузера.

Способ 3. Расширения для браузера

Приведу один пример такого расширения. Оно дает подробную информацию о состоянии сайта с точки зрения оптимизации и индекса. Это расширений под названием «RDS bar».

• Вот его ссылка для Google: //chrome.google.com/webstore/detail/rds-bar-seo-pagerank-dmoz/jlipcaflaocihnmlhnhcfombgmmfglho
• Вот его ссылка для Mozilla: https://addons.mozilla.org/ru/firefox/addon/rds-bar/
• Вот его ссылка для Opera: https://addons.opera.com/ru/extensions/details/rds-bar/

Это расширение для браузеров, в один клик покажет сколько на любом сайте проиндексировано страниц.

Примечание: расширение RDS я показал для примера. Есть аналогичные, такие же мощные расширения и расширения менее функциональные, которые помогут быстро посмотреть индекс сайта и не только в Гугле. Например, SEO Quake (https://www.seoquake.com/index.html).

Это полезно

Если вам нужно моментально узнать есть ли домен или отдельная страница в индексе, используйте Букмарклеты —Java Script программы, оформленные в виде «javascript:URL», сохраняемая как закладка браузера.

Имея такой букмарклер, вы моментально посмотрите есть открытая страница сайта в Индексе.

Вот “буки” от Netpeak: http://img.netpeak.net/melik/index-check.html?_ga=2.163131836.1475269850.1519456507-549606374.1519456507

Их нужно положить в панель закладок вашего браузера и нажать на открытой странице сайта.

Вывод

Каждый веб мастер выбирает инструменты под себя и для выполнения своих задач. Однако надеюсь, что эта статья была полезна, и вы без труда узнать количество проиндексированных страниц в Гугле вашего сайта и сайта ваших конкурентов.

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

Оглавление:

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

3. Анализ индексации сайта при помощи плагинов и расширений

4. Отслеживание проиндексированных страниц с помощью online сервисов

5. Программы для контроля индексации сайта

6. Проверка индексации страницы

7. Почему сайт может не индексироваться

8. Выводы SEO-специалиста Веб-Центра

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».

Добавление сайта в вебмастер Яндекса

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Просмотр страниц в поиске Яндекса через панель для вебмастеров

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Просмотр количества страниц в поиске на вкладке «Мои сайты»

Для анализа список страниц можно скачать из сервиса файлом в форматах .xls и .csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».

Пример верификации в панели вебмастеров в Гугл

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Просмотр страниц в ПС Гугл через панель для вебмастеров

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

1. Оператор «site»

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

Пример использования оператора «site» в Яндексе

Пример использования команды «site» в Гугле

Но в использовании этого оператора есть особенность. Если на сайте более 2 тысяч страниц, то Яндекс часто показывает их некорректное количество. Поэтому сам Яндекс рекомендует уточнять информацию по количеству страниц в индексе через панель вебмастеров, о которой говорили выше.

С помощью оператора мы видим количество страниц – 2 тысячи, если смотреть через панель вебмастера, то число будет совсем другим – 7 808:

Оператор «host»

Оператор «host:» работает по принципу оператора «site», только он позволяет сузить область поиска до конкретного домена. Поддомены не учитываются и не выводятся в результатах поиска. Чтобы использовать оператор, введите в строке поиска «host:адрес_интересующего_сайта».

Если бы мы использовали оператор «site», в выдачу попали бы страницы с поддоменами других городов.

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

Пример использования плагина SEO-tools

Установить расширение вы можете по ссылке

Пример использования расширения RDS bar

Установить расширение вы можете по ссылке

4. Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru
вводим url и нажимаем «Анализировать».

Скриншот проверки индексации сайта в a.pr-cy.ru

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Скриншот фрагмента анализа сайта в программе Site-Auditor

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

• Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».

  

  Проверяемая страница в поиске Яндекса

• Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.

  

  Проверяемая страница проиндексирована в Google

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

Пример использования оператора «url» в ПС Яндекс

Ранее, по типу оператора «url» в Яндекс, в поисковой системе Google был оператор «info». В 2019 году Google отключил данный поисковый оператор. Причиной этого решения стал тот факт, что эта команда мало используется, а получить эти данные можно с помощью инструмента проверки URL в Search Console.

Используя оператор info, можно было просмотреть канонический URL для конкретной страницы. Однако, поскольку эти данные доступны в инструменте проверки URL, то отдельный поисковый оператор, по мнению Google, больше не нужен.

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Пример использования оператора «info» в ПС Гугл

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name=”robots” content=”noindex, nofollow” />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-Центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале