Всем привет. Зачастую случаются ситуации, когда необходимо найти сетку сайтов конкурентов. В одном из предыдущих постов я уже рассказывал о том, как узнать все сайты одного владельца используя данные из whois домена, сегодня я хочу предложить вам другой способ, поиск сайтов по ID Google Adsense и Google Analytics.
Мало кто обращает внимание на то, что когда вы размещаете контекстную рекламу Google Adsense, у всех рекламных блоков идет общий идентификатор издателя, используя можно найти все сайты одного владельца.
Существует несколько сервисов для анализа сайтов по вышеуказанным параметрам.
Первый сервис – это зарубежный SpyOnWeb.com, который позволяет искать сайты по pub AdSense, ua Google Analytics, а также по IP адресу и DNS Servers. Что бы начать поиск зайдите на главную страницу, по ссылке http://spyonweb.com/ и введите домен для анализа, для примера введу shakin.ru:
Второй сервис – это наш отечественный recipdonor.com, создатель популярнейшего приложения RDS Bar. После регистрации заходите в раздел инструменты, выбирайте «Поиск по коду Google Adsense и Analytics» и вводите заветный ID. Для сравнения результатов введу тот самый PUB, взятый с блога Глобатора.
Как видите найдено 9 результатов, против 12 у SpyOnWeb. Надеюсь эти два сервиса помогут вам найти чужие MFA сайты, что бы понять как люди зарабатывают бабло в сети. Совсем забыл, есть еще сервис whorush.com, но он к сожалению платный.
Если Вы хотите спрятать свою сетку сайтов от палева, то советую создавать для каждого сайта отдельный аккаунт в Google Analytics, а также прятать Pub Google Adsense в отдельный javascript файл. Если Вы не можете это сделать сами, то возможно вам потребуется сопровождение сайта от профессионалов. Если вы знаете другие способы, поделитесь в комментариях.
Одним из простейших способов выявления чужой сетки является поиск сайтов по ID Adsense, осуществить который можно при помощи ряда сервисов как платных, так и бесплатных. Данная возможность основывается на том, что рекламный код от Adsense, который необходимо вставить на страницы сайта для отображения на нем объявлений включает в себя pub-идентификатор (он же ID Adsense), являющийся индивидуальным для каждого веб-мастера.
Сервисы, позволяющие осуществлять поиск по ID Adsense, собирают базы данных сами, запуская пауков-парсеров по всем просторам Всемирной паутины. Просканировав множество сайтов и составив из них базу данных, включающих в себя пары домен – ID Adsense, они позволяют с легкостью находить сетки сайтов, принадлежащих одному владельцу. Разумеется, со временем такие базы данных несколько устаревают, поэтому наиболее новую информацию (сайты, существующие всего неделю, например) вы не найдете ни на одном из сервисов. Подобное сканирование и анализ данных требует наличия достаточно мощных серверов, как для хранения собранной базы, так и ее пополнения при помощи сканирования новых web-ресурсов, поэтому большинство сервисов, позволяющих найти сайты по ID Adsense, являются платными.
SpyOnWeb.com – это лучший бесплатный сервис, позволяющий осуществлять поиск по pub Adsense, ua Google Analytics, доменному имени, IP адресу и DNS Servers. Для того чтобы получить необходимую информацию, достаточно ввести в поисковую строку интересующий вас идентификатор AdSense или домен сайта.
В случае если информация об искомом домене отсутствует, сервис предупредит об этом: «Информация об этом доменном имени отсутствует в базе данных. Попробуйте поиск по IP-адресу, рекламному коду или коду статистики».
RecipDonor.com – это платный сервис от создателя знаменитого дополнения для FireFox RDS Bar. Для получения информации необходимо пополнить счет на некоторую сумму. Однако вследствие того, что при создании нового аккаунта каждый пользователь получает на счет сумму, равную $0,1, ознакомиться с возможностями сайта можно бесплатно.
Всю полученную информацию можно сохранить на свой компьютер в формате .xls.
Интеграция сервиса в RDS Bar делает его использование особенно удобным.
Whorush.com – полностью платный сервис, детище создателей знаменитого SEO-инструмента Semrush. Доступен поиск по ID Adsense, Analytics ID, доменному имени, IP, NS, Whois. Бесплатная версия показывает только часть доменного имени, скрывая большинство символов звездочками.
Reverseinternet.com – SEO-инструмент, для полного доступа к функциям которого необходима регистрация.
Adsspy.ru – платный сервис, специализирующийся на русскоязычных сайтах, для доступа к базе данных которого необходимо приобрести купоны.
Запрет правилами Adsense менять код рекламного объявления и наличие сервисов парсящих сайты с целью сбора их в единую базу привели к тому, что ряд веб-мастеров предпочитает скрывать рекламу Adsense от ботов, чтобы в дальнейшем конкуренты не вычислили их сетки.
Итак, как скрыть код ID Adsense?
Получив информацию по сеткам конкурентов, вы сможете проанализировать методику их работы и, возможно, повторить их успешный опыт. Некоторые веб-мастера ищут сайты по ID Adsense из простого любопытства.
Просмотров 1.5к. Опубликовано 12.10.2020 Обновлено 12.10.2020
Всем привет!
Иногда, есть необходимость узнать сетку сайтов. На мой взгляд, самый простой способ с помощью key.so — по pub-id Adsense/AdManager.
https://www.keys.so/ru/owner/byadsense?id=1234567890
где вместо 1234567890 вставляется pub-id сайта.
Но keys.so платный, а в бесплатной версии доступно 2-3 сайта. А еще и количество рекламных сетей ограничено Google, Leadia (юридическая партнёрка) и Relap.io (рекомендательная система). И получается, если на сайте нет кодов указанных систем, keys.so сетку не спалит.
Но есть еще один способ — ads.txt. Для тех кто не знает, ads.txt — это файл, где указываются все авторизованные партнёры, которые могу продавать ваш трафик. Каждый партнёр указывается в виде записи, которая, в свою очередь состоит из 4 частей.
- Название вендора/SSP/Рекламной сети и тд. Например, google.com, appnexus.com, openx.com. Это может быть как основной домен вендора, так и технический.
- Publisher ID — уникальный идентификатор издателя, у каждого аккаунта свой. Как pub-id у Google.
- Тип аккаунта — Direct или Reseller. Напрямую (Direct) работает паблишер или через партнёров (Reseller). Поэтому основной аккаунт Adsense указывается с Direct.
- ID сертификата — указывается опционально.
Именно по Publisher ID и можно находить общие сетки сайтов, только надо обращать внимание на тип аккаунта, чтобы не “спалить” крупного реселлера на 2-3к доменов. И поможет в этом сайт — adstxt.com.
С его помощью можно выполнять поиск по доменам, рекламным сеткам и Publisher ID. Попробуем на его примере найти, к какой сетке принадлежит сайт Elle.ru
На сайте 228 записей — из них 56 разных вендоров и 45 Direct записей, обращать нужно в первую очередь на них. Начинать поиск лучше с гугла — сайт показывает 7 (!) Direct записей гугла, правда не все из этих аккаунтов могут напрямую принадлежать паблишеру — часть рекламных сетей тоже может монетизировать трафик своим аккаунтом Google. Из этих 7 ID одинаковы по набору сайтов лишь 5.
Это может означать, что у паблишера 5 аккаунтов Adsense/Admanager/AdExchange для разных нужд.
У этого подхода есть свои плюсы и минусы:
Бесплатно
Поиск не только по Google, но и другим вендорам
Большая база — около 870 тыс. доменов
Обновляется каждый день
В базе редко встретишь сайты с небольшим трафиком — только крупняк
Данный вариант не поможет, если сайты и рекламные сети разнести по разным аккаунтам
Также с этого сайта можно получить немного полезной информации. Например:
- Покрытие Google среди сайтов с ads.txt — 98.55%
- Appnexus.com, rubiconproject.com, pubmatic.com и openx.com есть у каждого 3го сайта;
- Среди топ миллиона сайтов по Majestiс, только 7,2% используют ads.txt
- А также можно получить nofollow ссылку с DR 22 на ads.txt файл =)
Рубежанский Денис
Занимаюсь монетизацией, веду канал AdCops
Самым непонятливым людям, эта прога, не для сбора сайтов на одном ID владельца типа RDS бара и подобных, пожалуйста читайте внимательно и если вы 000 не поняли, не стоит тратить мое время**!
Частенько заказываю для себя написание различного софта, есть такие проги которые можно спалить/поделиться с вами, потихонечку буду выкладывать в блоге и в основную ленту постараюсь не пускать.
Как можно использовать этот парсер пабов
- в твоей нише есть сотни сайтов, закидываем их и вычисляем владельцев сеток, владельцев двух и более сайтов (что делать с данной информацией решать вам, либо анализировать, либо стучать на конкурента если сайты по одной тематике, либо продавать такую инфу)
- хотите реальные кейсы по MFA?, хотите знать какие сейчас существуют сетки, какие юзают шаблоны, как MFA устроены из нутри (качаем любой парсер выдачи Гугла/Яндекса чекаем нужные ключи, Затем с помощью «Adsense ID PUB парсера» находим вкусности)
Как устроен «Adsense ID PUB парсер»
В поле «Url для парса» вбиваем домены/урлы страниц, часто можно встретить что на морде сайта нет блоков adsense, поэтому правильнее парсить сразу пару страниц любого ресурса:
В данной ситуации можно собрать список доменов всех известных блоггеров и узнать много интересного о некоторых..
Как все спарсилось видим это:
После сохранения у нас создается папка с названием «pub-search» в ней наблюдаем такую картину:
При любом новом парсинге PUB-****.txt файлы дописываются новыми доменами и проверяются на дубли.
Как +бонус идет страничка /wp-content/uploads/file/cleaning-url.htm на которой вы можете очистить урлы как на скриншоте!
Стоимость 5$ — работает в Windows 7/Win XP ↓
Для работы с программой помогают сильно AutoFormat и GooglePars — они бесплатны.
Отзывы блоггеров: CrazyKos, jkeks, seobeginner.ru
Подписаться на Telegram
Ну тут, типа выпрашивание добавить и написать мне комментарий, типа спасибо автору…
- Задача
- Как дорабатывать Сайты24
- Добавление поиска на сайт
- Итог
Задача
В 2015 году, когда нам понадобился англоязычный сайт (http://intervolgaru.com/), мы скопировали основной и перевели весь интерфейс. Тогда это было хорошее и быстрое решение.
Летом 2019 мы поняли, что доля западных заказов растет, посещаемость тоже, а сайт все так и застрял в 2015-ом. Возникло желание обновить англоязычный сайт, не привлекая целую команду разработчиков, и при этом сделать быстро, красиво и удобно для контент менеджеров.
Ранее мы уже рассматривали модуль Сайты24 (landing) в статье «Конструктор лендингов в 1С-Битрикс, REST и улучшения магазина», но очень кратко. Модуль Сайты24 позволяет создавать красивые и современные страницы. При этом, как и в любом конструкторе, почти не требуется верстальщик или программист. Создание страницы для Сайта24 — это размещение шаблонных блоков на странице и добавление в них своего контента. Причем блоков много, под самые разные цели (инфографика, галереи, меню).
Сайты24 — это по прежнему БУС, но не такой функциональный. А нам при переделке сайта было важно сохранить ЧПУ и поиск (чего на тот момент в модуле не было). Проведя небольшой эксперимент, мы поняли, что сможем их добавить.
Как дорабатывать Сайты24
Разработчики модуля позаботились не только о контент менеджерах, но и о программистах. Свои блоки добавлять просто. В эти блоки программист может внедрить почти все, что ему вздумается: верстку, компоненты или вызов api БУСа. Для создания пользовательского блока нужно выполнить следующие шаги:
- Добавить директорию:
/bitrix/blocks/ваше_пространство_имен/символьный_код_блока - Внутри созданной папки нужно создать два файла:
- .description.php — файл содержит в себе описание создаваемого блока (название, дополнительные стили, js и параметры блока)
- block.php — файл может содержать:
- Верстку
- Вызов компонента
- js-код
- Крутейший скрипт, который будет менять весь сайт
Подробное описание процесса создания блока можно посмотреть в документации https://dev.1c-bitrix.ru/api_d7/bitrix/landing/block/create_block.php.
В настройках сайта или отдельной страницы, можно выбрать цветовую тему. Выбранная тема ограничивает список доступных цветов фона, шрифтов и прочих визуальных настроек блоков.
Если сайт создается для заказчика, у которого есть определенные требования к цветовому оформлению сайта, возникает необходимость добавить свою цветовую палитру или шрифты. К счастью, у модуля есть возможность добавить свою цветовую тему, в которой можно задать цветовую палитру под определенный дизайн.
При создании сайта с помощью модуля Сайты24, в папке, которая указывается в настройках модуля, размещается компонент landing.pub. Вся магия определения, собирания и показа страницы происходит в нем. Создаваемые страницы и добавленные на нее блоки с контентом сохранены в БД, в виде html-верстки и привязаны к соответствующему url.
Одной из проблем модуля Сайты24 является поддержка ЧПУ для компонентов, она не поддерживается. Для SEO оптимизации любого сайта, ЧПУ очень важны. Не поддерживается, потому что компонент смотрит на запрашиваемый url и ищет страницу с этим url в БД, а в БД хранятся только вручную созданные страницы. Также правила, заданные в файле urlrewrite, модулю не интересны, он про них ничего не знает.
Как уже говорилось раньше, за определение страницы отвечает компонент landing.pub, его мы и будем кастомизировать. Для начала, по заветам Битрикса, мы создали свой компонент, который наследуется от LandingPubComponent. Компонент написан на d7, поэтому мы можем создать компонент-наследник и переопределить нужные нам методы. Определение страницы, которую нужно подключать, происходит в методе detectPage. В нем мы можем по url определять, страницы блога и подключить нужную страницу с компонентом, который выводит статьи блога.
Остается только создать 2 блока с компонентами bitrix:news.list и bitrix:news.detail, поправить у них шаблоны и параметры, создать страницы (blog, blogdetail) и разместить созданные блоки на страницах.
Пара слов о хлебных крошках и мета тегах. Так как компонент, показывающий страницу, находится в корне сайта, хлебные крошки формировались неверно. Пришлось их формировать вручную старым добрым $APPLICATION->AddChainItem().
У каждой страницы блога есть свои мета теги. Стандартные мета теги страницы можно подменить в шаблоне компонента landing.pub, передав нужные теги, например, через глобальные переменные.
Добавление поиска на сайт
После добавления блога на сайты Битрикс24 мы задумались, как теперь организовать поиск по статьям.
В версии БУС 20.0.0 появился блок «Строка поиска на фоновой картинке» который выполняет поиск только по страницам модуля Сайты24. При добавлении данного блока на любую страницу создается новая страница для вывода результатов поиска. Поиск по инфоблокам, который нам нужен, данный блок не выполняет.
Поиск на большинстве сайтов БУС’а осуществляется через страницу поиска с компонентом (bitrix:search.page) и через строку поиска в шапке (компонент bitrix:search.title). Со страницей поиска для сайтов Битрикс24 не возникает никаких проблем. Создаем блок с компонентом bitrix:search.page и страницу, на которой размещаем созданный блок. Страница поиска должна работать без танцев с бубном. А вот со строкой поиска в шапке возникает одна проблема: нет возможности внедрить свой компонент в стандартные блоки-шапки. Решений несколько:
- Создать свой блок, который будет являться шапкой сайта и добавить в его верстку вызов компонента bitrix:search.title.
- Если шапка и подвал являются отдельными страницами, то можно создать свой блок с компонентом bitrix:search.title и js’ом внедрять его в верстку шапки.
Если мы попробуем найти какой либо текст со страниц Сайты24, то ничего не выйдет. Компоненты поиска работают с модулем поиска, а созданные нами страницы не индексируются модулем поиска и в выдачу не попадут. Одним из решений является добавление страниц в индексацию с помощью метода CSearch::Index(), (id модуля можно указать любой, например “landing”).
Когда добавлять, удалять и обновлять страницы в поисковом индексе? Тут помощниками являются события модуля landing: onLandingPublication (не задокументированное событие), LandingOnAfterUpdate (не задокументированное событие), onLandingAfterUnPublication. Событие onLandingPublication срабатывает при публикации страницы, в нем нужно добавить созданную страницу в поисковый индекс или переиндексировать, если страница уже была добавлена. События LandingOnAfterUpdate и onLandingAfterUnPublication понадобятся для удаления из поискового индекса страницы, которую сняли с публикации.
Еще одним важным пунктом в индексации страниц, о котором нельзя забывать, является полная переиндексация сайта модулем поиска. Для модуля поиска не существует модуля ‘landing’, поэтому, если мы произведем переиндексацию, все страницы будут удалены из поискового индекса. Решается эта проблема написанием обработчика события модуля “search” событие “OnReindex”.
Несколько особенностей модуля Сайты24 про которые стоит знать разработчикам:
- Блоки с компонентами, у которых включены параметры ajax, могут сломать всю страницу.
- Если вы решите последовать нашему примеру и создать свой компонент, то помните, что следует регулярно следить за обновлениями модуля, так как шаблон компонента и сайта может измениться, а вместе с ним и подключаемые скрипты в шаблоне.
- При изменении компонентов, блоков и вообще всего, что касается модуля Сайты24 нужно сбрасывать кеш.
Итог
Если нет жестких требований по дизайну, если сайт преимущественно контентный (без десятков форм обратной связи, заказов, авторизации) и сроки поджимают, Сайты24 от 1С-Битрикс идеально подходят. Такие сайты можно до каких-то пор усложнять и дорабатывать (наш англоязычный сайт тому пример) силами даже одного разработчика. Так, доработку ЧПУ и поиск на нашем англоязычном сайте мы сделали в сумме за 25 часов. Сам сайт при готовом контенте собирается еще за 10-15 часов.
ИНТЕРВОЛГА поможет вам с проектом любого калибра. Для каждой задачи мы поможем подобрать правильный инструмент.
Понравился наш подход к работе? Заинтересовал проект по разработке на платформе 1С-Битрикс? Заполняйте форму ниже. Удачных проектов!
