Как найти все поддомены на сайте

Инструмент поможет быстро найти все проиндексированные поисковыми системами поддомены сайта и составить список, который пригодится для дальнейшего его анализа с целью обнаружения и недопущения дублирования контента. Для того, чтобы найти все поддомены, инструмент собирает данные сразу из трех источников: при помощи запросов к Яндекс, Google, а также с API MegaIndex.

Что такое поддомены сайта?

Поддомен – это домен, который принадлежит основному домену более высокого уровня. Применяется в основном для отдельных больших самостоятельных разделов, категорий и сервисов, которые принадлежат одной и той же организации. Также поддомены имеют преимущества перед основным сайтом при региональном продвижении в виду своей узконаправленности. Подробнее о поддоменах в Википедии.

Зачем искать поддомены сайта?

Иногда, причиной низких позиций сайта, может стать его поддомен. Связано это в основном с дублированием контента, а также пересечением видимости в выдаче, по сути, двух сайтов одной организации. При обнаружении поддоменов рекомендуем сравнить их с основным адресом сайта при помощи нашего инструмента для проверки на аффилированность.
 

Найти поддомены сайта будет полезно при:

• общем техническом анализе сайта;
• анализе структуры конкурентной организации;
• региональном представительстве;
• тестировании и редизайне основного зеркала сайта.

Предугадать отношение поисковых систем к поддоменам очень сложно, поэтому Be1.ru не рекомендует их создавать без крайней на то необходимости.

Как найти поддомены за считанные минуты?

Поиск поддоменов — неотъемлемая часть подготовки ко взлому, а благодаря некоторым инструментам противостояние этим действиям стало намного проще.

Незащищенные поддомены подвергают вашу деятельность серьезной опасности, а в последнее время произошел целый ряд инцидентов, при которых взломщики воспользовались поддоменами для обхода защиты.

В случае последнего из череды инцидентов весь код сайта Vine можно было загрузить с незащищенного поддомена.

Если вы владелец сайта или изучаете вопросы информационной безопасности, вы можете воспользоваться следующими инструментами чтобы найти поддомены любого домена.

От переводчика:
Надеюсь, что данные инструменты помогут Вам сохранить информацию на ваших виртуальных и выделенных серверах.

Список инструментов:

1. Censys
2. Pentest-Tools
3. DNS Dumpster
4. Sublist3r
5. Netcraft
6. CloudPiercer
7. Detectify
8. SubBrute
9. Knock
10. DNSRecon on Kali Linux

1. Censys
В первую очередь для поиска поддоменов, как правило, прибегают к Censys. Помимо поддомена вы можете найти еще много интересного, а именно:

• данные об IP (может быть полезно для поиска реального IP-адреса);
• данные о сертификате;
• открытые порты;
• SSL/TLS протокол рукопожатия и алгоритмы шифрования (полезно при поиске слабых шифров/протоколов).

Вы получите неплохой обзор сведений о домене.

2. Pentest-Tools
С помощью Pentest-Tools при поиске поддомена можно воспользоваться несколькими методами, например: передача зоны DNS, перебор DNS на основе списка слов или использование поисковой системы.

Результаты поиска можно сохранить в формате PDF.

3. DNS Dumpster
DNS Dumpster — это инструмент для поиска информации о домене и хосте. Авторы проекта — HackerTarget.com.

Вы сможете найти сведения не только о поддомене, но и о DNS сервере, MX и TXT записях, а также получить графическое представление информации о вашем домене.

4. Sublist3r
Sublist3r — это инструмент на языке Python для обнаружения поддоменов с помощью поисковых систем. На сегодняшний день Sublist3r поддерживает Google, Yahoo, Bing, Baidu, Ask, Netcraft, Virustotal, ThreatCrowd, DNSdumpster and PassiveDNS.

Sublist3r поддерживает только Python версии 2.7 и зависит от нескольких библиотек.

Вы можете использовать этот инструмент в Windows, CentOS, RedHat, Ubuntu, Debian и любой другой ОС на базе UNIX. Ниже приводится пример для CentOS.

• Зайдите на ваш Linux-сервер;
• Скачайте последнюю версию Sublist3r

wget https://github.com/aboul3la/Sublist3r/archive/master.zip

Распакуйте скачанный файл:

unzip master.zip

• Будет создана новая папка “Sublist3r-master”

Как я ранее упоминал, существуют следующие зависимости, для установки которых можно воспользоваться командой yum:

yum install python-requests python-argparse

Теперь все готово для обнаружения поддоменов с помощью следующей команды:

./sublist3r.py -d yourdomain.com

Как видите, инструмент обнаружил мои поддомены.

5. Netcraft
Netcraft располагает обширной базой данных о доменах и ее не стоит обходить стороной при поиске открытой информации о поддоменах.

Результат поиска будет содержать всю информацию о домене и поддоменах, в том числе дату первого просмотра, диапазоне адресов и информацию об операционной системе. Если вам необходимо получить больше информации о сайте, просто откройте отчет о сайте и вам будет предоставлена уйма информации о технологиях, рейтинге и т.д.

6. CloudPiercer
CloudPiercer может иногда оказаться полезным при поиске информации о том, существует ли поддомен вашего домена. Кстати, CloudPiercer — это потрясающий и простой способ узнать защищен ли фактический IP-адрес вашего сайта.Открытая информация об IP-адресе делает ваш сайт уязвимым для DDoS-атак.

7. Detectify
Detectify осуществляет поиск поддоменов по предопределенному списку из нескольких сотен слов, но только в случае, если вы являетесь собственником домена. Тем не менее, если вы являетесь зарегистрированным пользователем Detectify, вы сможете включить функцию обнаружения поддоменов в разделе overview в настройках.

8. SubBrute
SubBrute — это один из самых популярных и точных инструментов перечисления поддоменов. Проект разработан сообществом и использует открытый определитель имен в качестве прокси, так что SubBrute не отправляет трафик на целевой DNS-сервер.

Это не онлайн-инструмент, так что вам придется установить его на компьютер. SubBrute можно использовать на Windows или UNIX системах. Программу установить очень легко. Ниже пример для CentOS/Linux.

• Зайдите на ваш Linux-сервер
• Скачайте последнюю версию SubBrute

wget https://github.com/TheRook/subbrute/archive/master.zip

• Распакуйте скачанный zip-файл

unzip master.zip

Будет создана новая папка “subbrute-master”. Зайдите в папку и выполните subbrute.py с необходимым доменом.

./subbrute.py yourdomain.com

Операция займет несколько секунд и отобразятся найденные поддомены.

9. Knock
Knock — еще один инструмент на языке Python для обнаружения поддоменов. Он протестирован для Python 2.7.6. Knock находит поддомены целевого домена по списку слов.

• Knock можно установить на ОС на базе Linux.

wget https://github.com/guelfoweb/knock/archive/knock3.zip

• Распакуйте скачанный zip-файл командой unzip

unzip knock3.zip

• В результате будет создана новая папка “knock-knock3”
• Зайдите в папку и установите с помощью следующей команды

python setup.py install

После установки вы можете производить поиск поддоменов следующим образом:

./knockpy.py yourdomain.com

10. DNSRecon для Kali Linux
Kali Linux — это отличная платформа для оценки информационной безопасности и на ней можно использовать DNSRecon без дополнительной установки каких-либо инструментов.

DNSRecon проверяет все NS-записи на предмет смены зон, общие записи DNS, обработку шаблонов, PTR-записи и т.д.

Чтобы воспользоваться DNSRecon, просто выполните следующую команду

dnsrecon –d yourdomain.com

Надеюсь, что с помощью приведенных выше инструментов вы сможете обнаружить поддомены целевого домена в рамках вашей работы по оценке информационной безопасности. Сообщите мне, какой вам понравился больше всего.

Хочу напомнить, что недавно заработал проект на который мы собрали более 8.5 тысяч отзывов с различных форумов о 344 хостерах — Poisk.Hosting. На сайте VDS.menu все еще можно найти виртуальные серверы, а на SHARED.menu — виртуальный хостинг.

Поиск поддоменов сайта

Ограничение: 5 раз в сутки для 1 IP-адреса. Для Вашего IP осталось 4 раз. Снять ограничение…

Онлайн сервисы на основе HackWare.ru

---

Составление диапазонов IP

• Географические единицы и их IP адреса
• Все IP населённого пункта (области, города)
• Все IP страны
• Все IP провайдера
• Все IP континента
• Все IP Автономной Системы (AS)
• Диапазоны IP-адресов всех Интернет-провайдеров и организаций

Узнать информацию о себе

• Узнать свой IP
• Узнать свой User Agent
• Проверка на раскрытие реального IP адреса за прокси
• Трассировка до меня
• Есть ли у меня IPv6

Сбор информации

• Узнать информацию об IP
• Узнать информацию об IPv6
• whois об IP или о сайте
• Определение системы управления сайтом (CMS)
• Разнообразная информация о сайтах
• Похожие доменные имена
• Сайты на одном IP
• Узнать IP сайта
• История IP адресов сайта
• Посмотреть все DNS записи сайта
• Просмотр определённых DNS записей сайта
• HTTP заголовки ответа
• Определить куда ведёт ссылка
• Проверка, где «засветился» адрес электронной почты
• Поиск профилей по нику пользователя
• Поиск профилей по полным именам и другой информации
• Проверка зарегистрированных доменов в разных зонах
• Преобразовать IP адрес в имя хоста
• Получение номера Автономной Системы по IP адресу
• Поиск пользователя в социальных сетях
• OSINT инструмент сбора данных о сайтах
• Просмотр .onion сайтов (скрытых сервисов) из Даркнета
• Сканер NetBIOS, SMB и Samba
• Проверка доступности сайтов через Tor

Извлечение информации из кэша и веб архивов

• Показ страницы из кэша Гугл
• Одновременный поиск по нескольким веб архивам

IP калькуляторы

• Калькулятор IP подсетей
• Калькулятор IPv6 подсетей
• Конвертер IP адресов
• Агрегатор IP адресов, масок, подсетей
• Диапазоны сетей в CIDR
• Разбивка подсети по маске
• Разбивка подсети по количеству IP
• Двоичный IP в стандартный вид
• Преобразование в двоичный вид
• Десятичный IP в нормальную форму
• Конвертация IP в десятичную форму
• Шестнадцатеричный IP в нормальную форму
• Конвертация IP в шестнадцатеричное число
• Преобразование восьмеричного числа в IP
• Конвертация IP в восьмеричное число
• Разжатие IPv6
• Конвертация в CIDR и агрегация диапазонов IP
• Конвертация CIDR нотации в диапазоны IP

Обход запрета показа исходного HTML кода, обход социальных блокировщиков

• Сервис обхода блокировок просмотра исходного кода страницы
• Обход социальных блокировщиков

Продвинутое использование поисковых систем

• Продвинутый поиск в Гугл
• Продвинутый поиск в Яндекс

Работа с кодировками

• Определить кодировку и преобразовать в читаемый вид
• Кодирование файлов и строк в Base64
• Декодирование файлов и строк из Base64

Инструменты противодействия CloudFlare

• Проверка сайт на CloudFlare
• Раскрытие реального IP сайта за сетью CloudFlare, используя неправильно настроенные DNS и базу данных старых записей
• Раскрытие реального IP сайта за Cloudflare, Incapsula, SUCURI и другими WAF

Изображения и метаданные

• Узнать где сделана фотография
• Метаданные файла
• Очистка метаданных в фотографиях
• Очистка метаданных в офисных и других файлах
• Универсальный конвертер изображений
• Просмотр уровня качества JPG (степень сжатия изображения)
• Конвертация PDF в JPG
• Конвертация JPG в PDF
• Скриншот веб-сайта
• Проверка веб камеры

Информация о номерах телефонов

• Узнать оператора и город по номеру
• Узнать все номера телефонов оператора и города
• Международные телефонные коды

Сканеры уязвимостей веб-сайтов

• Сканирование WordPress на уязвимости
• Проверка сайта на sql инъекции
• Проверка Drupal, SilverStripe и WordPress

Сканеры уязвимостей, открытых портов и запущенных служб веб-серверов

• Сканирование сервера (Nikto)
• Сканирование открытых портов и запущенных служб онлайн (Nmap)
• Продвинутые сканирования Nmap онлайн
• Сканирование портов на IPv6 адресах
• Тестирование шифрования TLS/SSL
• Сканер заголовков ответа HTTP на безопасность
• Определение WAF (файервола веб приложений)

Субдомены и скрытые файлы

• Поиск всех субдоменов сайта
• Поиск поддоменов сайта (второй метод)
• Мгновенный поиск субдоменов (поддоменов) любого сайта (третий метод)

Получение информации по MAC-адресам

• Определение производителя устройства по MAC-адресу

Анализ работы веб-сервера

• Анализ логов Apache
• Пинг IP и IPv6 адресов
• Трассировка IP, IPv6 и веб-сайтов

Работа с хешами

• Определение типа хеша
• Генератор NTLM хешей

Анализ электронных писем

• Извлечение всей информации из e-mail письма

Анализ файлов

• Определение типа файла без расширения
• Извлечение всех строк из исполнимого файла
• Показать информацию об исполнимом файле
• Извлечение содержимого из .DS_Store

Конвертация

• Конвертация географических координат из десятичного вида в градусы, минуты и секунды
• Конвертация географических координат из градусов в десятичный вид

QR-коды

• Генератор QR-кода для текста
• Генератор QR-кода для координат
• Генератор QR-кода с номером телефона
• Генератор QR-кода с адресом сайта или файлом для загрузки
• SMS-сообщение в QR коде
• E-mail в QR коде
• Генератор QR кода для подключения к Wi-Fi
• QR код для добавления контакта в адресную книгу
• QR код для добавления события в календарь

Служебные страницы

• Использование ресурсов сервера
• Поиск по базе IP без очистки
• Донат

Лучший хостинг Рунета:

• Заказать хостинг
• Регистрация доменов
• Тарифы на хостинг

При продвижении проекта в поисковых системах важно узнать поддомены сайта. Иногда они создают сложности и негативно влияют на SEO.

Зачем искать поддомены сайта?

Поддомен (субдомен) — это сайт, который является частью домена более высокого уровня. Например, tools.pixelplus.ru относительно pixelplus.ru. Поисковые системы индексируют не все существующие субдомены.

Сервис «Поиск всех проиндексированных Яндексом поддоменов» полезен в нескольких случаях:

Субдомены могут негативно сказываться на SEO-продвижении. Иногда сайт плохо ранжируется в поиске из-за дублирования контента, сходства тематик, индексации версии с префиксом www как отдельного ресурса. Чтобы выявить и решить эти проблемы, нужно узнать, какие субдомены проиндексировал Яндекс.

Важно проверить поддомены сайта перед началом оптимизации, при формировании SEO-стратегии.

При анализе конкурентов — их структуры и особенностей продвижения. Например, список поддоменов поможет понять, в каких регионах представлен конкурент. Эта информация полезна для формирования собственной стратегии.

Как пользоваться инструментом

Введите домен или основное зеркало сайта в строку и запустите проверку — кликните на кнопку «Найти».

Программа находит все проиндексированные субдомены. Адреса активны — на них можно перейти в один клик.

Если у проекта больше 80-100 субдоменов, могут быть найдены не все.

Поиск всех субдоменов занимает несколько секунд. Инструмент за проверку списывает 10 лимитов.

Дополнительные инструменты

Другие сервисы Пиксель Тулс, которые могут быть вам полезны:

Проверка позиций в Яндексе и Google. Сервис снимает позиции с глубиной до 250, с учетом поддоменов, по выбранным поисковым системам и регионам. Находит конкурентов, выстраивает рейтинг доменов в ТОП-10.

Сервис для проверки ответа сервера. Инструмент для мониторинга работоспособности и веса документов, которые продвигаются через SEO и контекстную рекламу.