Как найти поддомены сайта в яндексе

Проиндексированные Яндексом поддомены ищутся с помощью специализированных поисковых запросов, которые позволяют итерационно найти все поддомены указанного домена. Будут найдены именно те поддомены, которые проиндексированы поисковой системой.

Особенности поиска

Из-за ограничения Яндекса на длину поискового запроса, инструмент в некоторых случаях особо длинных доменов и поддоменов может не найти все поддомены, если их число крайне высоко много (более 80-100).

Как использовать инструмент для SEO?

С точки зрения поисковых систем, поддомены являются отдельными сайтами.

Поиск всех проиндексированных поддоменов Яндексом будет полезен в следующих случаях:

• При проведении технического аудита. Можно быстро найти поддомены, которые могут создать проблемы при продвижении из-за пересечения тематик и дублирования контента с основным доменом, проиндексированные https-версии сайтов, отсутствие редиректа c/на версию с www, понять структуру ресурса и многое другое.

  

• Для анализа конкурентов. Один из возможных вариантов — для понимания, как лучше разбить сайт на поддомены — например, анализ WikiMart.ru указывает на то, что книги, авто, товары для красоты и прочее лучше вынести на отдельные поддомены при создании аналогичного агрегатора.

  

• Для поиска поддоменов, которые не должны быть в индексе. Например, копия сайта для тестирования при разработке, которая может привести к дублированию контента всего сайта. Инструмент быстро находит ошибочно созданные поддомены и тестовые версии.

  

• Для определения стратегии продвижения мультирегионального проекта. Структуру проекта и поддоменов полезно изучить при анализе конкурентов, их региональной стратегии продвижения, сборе общей информации о сайте в определенной тематике.

  

#131

Поиск поддоменов сайта

При проведении SEO-аудита важно проверить, имеет ли анализируемый сайт проиндексированные поддомены, ведь зачастую на них может находиться информация, мешающая продвижению. Это может быть старая версия сайта, дубликаты контента основного домена, тестовая версия. Также поиск поддоменов может использоваться для анализа конкурентов и их структуры.

Как найти поддомены сайта

Это можно сделать с помощью специальных поисковых операторов. Например, для поисковой системы Google можно использовать операторы, указанные ниже.

• С помощью оператора «site:» можно ограничить результаты поиска конкретным сайтом.
• Оператор «-» исключает слово, фразу или поисковую конструкцию с другим оператором.
• Найти страницы, в URL которых присутствует искомая фраза поможет «inurl:».

Комбинированием этих операторов составляются определенные выражения, которые и используются для поиска поддоменов. С помощью выражения «-inurl:» мы можем исключить определенный домен из результатов выдачи.

Таким образом у сайта arealidea.ru мы нашли первый поддомен — blog.arealidea.ru.

Продолжить поиск можно последовательно исключая найденные поддомены тем же образом:

В Яндексе поиск проидексированных поддоменов значительно затруднен из-за отмены работы некоторых операторов, с помощью которых решалась данная задача. Но существуют специальные сервисы по автоматизации этого процесса, например https://tools.pixelplus.ru/tools/indexed-domains.

При проведении SEO-аудита важно проверить, имеет ли анализируемый сайт проиндексированные поддомены, ведь зачастую на них может находиться информация, мешающая продвижению.

Это может быть старая версия сайта, дубликаты контента основного домена, тестовая версия. Также поиск поддоменов может использоваться для анализа конкурентов и их структуры.

Как найти поддомены сайта

Это можно сделать с помощью специальных поисковых операторов. Например, для поисковой системы Google можно использовать операторы, указанные ниже.

Комбинированием этих операторов составляются определенные выражения, которые и используются для поиска поддоменов. С помощью выражения «-inurl:» мы можем исключить определенный домен из результатов выдачи.

Таким образом у сайта arealidea.ru мы нашли первый поддомен — blog.arealidea.ru.

Продолжить поиск можно последовательно исключая найденные поддомены тем же образом:

В «Яндексе» поиск проидексированных поддоменов значительно затруднен из-за отмены работы некоторых операторов, с помощью которых решалась данная задача. Но существуют специальные сервисы по автоматизации этого процесса (пример).

Как найти поддомены за считанные минуты?

Поиск поддоменов — неотъемлемая часть подготовки ко взлому, а благодаря некоторым инструментам противостояние этим действиям стало намного проще.

Незащищенные поддомены подвергают вашу деятельность серьезной опасности, а в последнее время произошел целый ряд инцидентов, при которых взломщики воспользовались поддоменами для обхода защиты.

В случае последнего из череды инцидентов весь код сайта Vine можно было загрузить с незащищенного поддомена.

Если вы владелец сайта или изучаете вопросы информационной безопасности, вы можете воспользоваться следующими инструментами чтобы найти поддомены любого домена.

От переводчика:
Надеюсь, что данные инструменты помогут Вам сохранить информацию на ваших виртуальных и выделенных серверах.

Список инструментов:

1. Censys
2. Pentest-Tools
3. DNS Dumpster
4. Sublist3r
5. Netcraft
6. CloudPiercer
7. Detectify
8. SubBrute
9. Knock
10. DNSRecon on Kali Linux

1. Censys
В первую очередь для поиска поддоменов, как правило, прибегают к Censys. Помимо поддомена вы можете найти еще много интересного, а именно:

• данные об IP (может быть полезно для поиска реального IP-адреса);
• данные о сертификате;
• открытые порты;
• SSL/TLS протокол рукопожатия и алгоритмы шифрования (полезно при поиске слабых шифров/протоколов).

Вы получите неплохой обзор сведений о домене.

2. Pentest-Tools
С помощью Pentest-Tools при поиске поддомена можно воспользоваться несколькими методами, например: передача зоны DNS, перебор DNS на основе списка слов или использование поисковой системы.

Результаты поиска можно сохранить в формате PDF.

3. DNS Dumpster
DNS Dumpster — это инструмент для поиска информации о домене и хосте. Авторы проекта — HackerTarget.com.

Вы сможете найти сведения не только о поддомене, но и о DNS сервере, MX и TXT записях, а также получить графическое представление информации о вашем домене.

4. Sublist3r
Sublist3r — это инструмент на языке Python для обнаружения поддоменов с помощью поисковых систем. На сегодняшний день Sublist3r поддерживает Google, Yahoo, Bing, Baidu, Ask, Netcraft, Virustotal, ThreatCrowd, DNSdumpster and PassiveDNS.

Sublist3r поддерживает только Python версии 2.7 и зависит от нескольких библиотек.

Вы можете использовать этот инструмент в Windows, CentOS, RedHat, Ubuntu, Debian и любой другой ОС на базе UNIX. Ниже приводится пример для CentOS.

• Зайдите на ваш Linux-сервер;
• Скачайте последнюю версию Sublist3r

wget https://github.com/aboul3la/Sublist3r/archive/master.zip

Распакуйте скачанный файл:

unzip master.zip

• Будет создана новая папка “Sublist3r-master”

Как я ранее упоминал, существуют следующие зависимости, для установки которых можно воспользоваться командой yum:

yum install python-requests python-argparse

Теперь все готово для обнаружения поддоменов с помощью следующей команды:

./sublist3r.py -d yourdomain.com

Как видите, инструмент обнаружил мои поддомены.

5. Netcraft
Netcraft располагает обширной базой данных о доменах и ее не стоит обходить стороной при поиске открытой информации о поддоменах.

Результат поиска будет содержать всю информацию о домене и поддоменах, в том числе дату первого просмотра, диапазоне адресов и информацию об операционной системе. Если вам необходимо получить больше информации о сайте, просто откройте отчет о сайте и вам будет предоставлена уйма информации о технологиях, рейтинге и т.д.

6. CloudPiercer
CloudPiercer может иногда оказаться полезным при поиске информации о том, существует ли поддомен вашего домена. Кстати, CloudPiercer — это потрясающий и простой способ узнать защищен ли фактический IP-адрес вашего сайта.Открытая информация об IP-адресе делает ваш сайт уязвимым для DDoS-атак.

7. Detectify
Detectify осуществляет поиск поддоменов по предопределенному списку из нескольких сотен слов, но только в случае, если вы являетесь собственником домена. Тем не менее, если вы являетесь зарегистрированным пользователем Detectify, вы сможете включить функцию обнаружения поддоменов в разделе overview в настройках.

8. SubBrute
SubBrute — это один из самых популярных и точных инструментов перечисления поддоменов. Проект разработан сообществом и использует открытый определитель имен в качестве прокси, так что SubBrute не отправляет трафик на целевой DNS-сервер.

Это не онлайн-инструмент, так что вам придется установить его на компьютер. SubBrute можно использовать на Windows или UNIX системах. Программу установить очень легко. Ниже пример для CentOS/Linux.

• Зайдите на ваш Linux-сервер
• Скачайте последнюю версию SubBrute

wget https://github.com/TheRook/subbrute/archive/master.zip

• Распакуйте скачанный zip-файл

unzip master.zip

Будет создана новая папка “subbrute-master”. Зайдите в папку и выполните subbrute.py с необходимым доменом.

./subbrute.py yourdomain.com

Операция займет несколько секунд и отобразятся найденные поддомены.

9. Knock
Knock — еще один инструмент на языке Python для обнаружения поддоменов. Он протестирован для Python 2.7.6. Knock находит поддомены целевого домена по списку слов.

• Knock можно установить на ОС на базе Linux.

wget https://github.com/guelfoweb/knock/archive/knock3.zip

• Распакуйте скачанный zip-файл командой unzip

unzip knock3.zip

• В результате будет создана новая папка “knock-knock3”
• Зайдите в папку и установите с помощью следующей команды

python setup.py install

После установки вы можете производить поиск поддоменов следующим образом:

./knockpy.py yourdomain.com

10. DNSRecon для Kali Linux
Kali Linux — это отличная платформа для оценки информационной безопасности и на ней можно использовать DNSRecon без дополнительной установки каких-либо инструментов.

DNSRecon проверяет все NS-записи на предмет смены зон, общие записи DNS, обработку шаблонов, PTR-записи и т.д.

Чтобы воспользоваться DNSRecon, просто выполните следующую команду

dnsrecon –d yourdomain.com

Надеюсь, что с помощью приведенных выше инструментов вы сможете обнаружить поддомены целевого домена в рамках вашей работы по оценке информационной безопасности. Сообщите мне, какой вам понравился больше всего.

Хочу напомнить, что недавно заработал проект на который мы собрали более 8.5 тысяч отзывов с различных форумов о 344 хостерах — Poisk.Hosting. На сайте VDS.menu все еще можно найти виртуальные серверы, а на SHARED.menu — виртуальный хостинг.

В данной статье я хочу рассмотреть один из способов применения операторов языка запроса поисковых машин Яндекс и Google для решения полезной практической задачи – поиска поддоменов сайта, проиндексированных этими поисковыми машинами.

Не редки случаи, когда разработчики сайта забывают закрыть от индексации поддомены сайта, на которых содержится бесполезная для поиска информация – копии текущей версии сайта, неактуальные версии сайта, отчеты анализаторов логов и прочая техническая и служебная информация. Захламление поискового индекса подобными данными в ряде случаев может негативно повлиять на позиции сайта. Поэтому желательно все подобные случаи выявить и запретить к индексации поисковыми роботами.

Решение задачи поиска поддоменов в поисковом индексе базируется на простой логической операции – последовательном отрицании при поиске по всему сайту уже известных нам поддоменов. Поиск по всему сайту и в Яндексе и в Google осуществляется с помощью одинакового оператора site:, для которого в качестве значения необходимо указать домен сайта. Например, site:yandex.ru или site:google.com.

Что же касается поиска по определенному поддомену, то в Яндексе это можно сделать с помощью документированного оператора host:. Необходимо иметь ввиду, что указание домена без www и c www дает разные результаты – проиндексированные страницы только с домена второго уровня и только с поддомена www соответственно:

Особенность оператора host: заключается в том, что он не чувствителен к виду протокола http или https, то есть с помощью этого оператора невозможно отделить в выдаче страницы с протоколами http и https друг от друга.

Таким образом, для поиска поддоменов сайта в Яндексе с помощью оператора отрицания ~~ на первом этапе убираем из поиска по всему сайту документы из корневого домена и/или поддомена www и получаем в выдаче документы с других поддоменов:

Отмечу, что здесь есть некоторая особенность. Дело в том, что в случае достаточно большого количества поддоменов этот список может быть неполным (вообще связка операторов ~~ и host: весьма странным способом то ли группирует, то ли фильтрует результаты поиска), и его необходимо будет уточнять последовательным отрицанием имеющихся в списке поддоменов (при этом в выдаче могут появляться новые поддомены):

Соответственно возможности метода в общем случае ограничены вместимостью поисковой строки (на сегодня ограничение на длину поискового запроса в Яндексе составляет 400 символов).

Рекомендую использовать в URL страницы поисковой выдачи get-параметр &rd=0, который позволяет снять ограничение на показ документов с одинаковыми сниппетами (подробнее см. в моей статье «Параметры URL страницы выдачи Яндекса»).

В Google нет аналога яндексовскому оператору host:, однако поиск по конкретному поддомену там можно осуществлять с помощью недокументированного оператора inurl:, указав в качестве значения полный (включая протокол) адрес поддомена. Например: inurl:https://google.com или inurl:http://www.google.com. Здесь надо иметь в виду, что оператор inurl: ищет вхождение заданной подстроки в URL документа:

Соответственно, данный способ подразумевает разделение в выдаче страниц с http и https протоколами. А если же указывать в качестве значения просто доменное имя без прокола, то нужного результата мы можем не добиться, т.к., к примеру, все поддомены в качестве подстроки будут включать в себя доменное имя.

Итого, для поиска поддоменов сайта в Google с помощью оператора отрицания – (минус) на первом этапе убираем последовательно из поиска по всему сайту документы из корневого домена и/или поддомена www по обоим проколам (в случае необходимости) и получаем в выдаче документы с других поддоменов:

В отличие от ситуации с Яндексом, здесь какой-либо особой фильтрации результатов не замечено, кроме стандартной фильтрации результатов, которые «очень похожи на уже представленные выше». Стандартная фильтрация обходится добавлением в URL страницы выдачи get-параметра &filter=0 (подробнее см. в моей статье «Параметры URL страницы поисковой выдачи Google»). Равно как не замечено и группировок, поэтому также в случае большого количества поддоменов, для большей информативности результатов, будет полезно применение последовательного отрицания уже известных поддоменов, т.к. страницы с одного-двух поддоменов могут забить видимую выдачу. Опять же, здесь мы, как и в случае с Яндексом, ограничены лимитом на длину поискового запроса, в Google он составляет 32 слова.

Кстати, в Яндексе есть также оператор inurl: (бывший некогда документированным, затем прошлым летом исчезнувший из официальной документации, но на данный момент корректно функционирующий) с точно такой же функцией поиска в адресе документа, но по причине того, что он в отличие от гугловского, полностью игнорирует заданный протокол (по сути вырезая его из подстроки), он не годится для решения поставленной задачи: