Здравствуйте, уважаемые коллеги!
В этой статье мы с вами поговорим о скрытых исходящих ссылках на сайте (никто не застрахован от этой напасти), научимся их находить и безболезненно для себя удалять.
Не очень давно, я уже писал о проблематике исходящих ссылок в этой статье. Там же рассмотрены способы их закрытия метатегами и java скриптом.
Но как быть с паразитами, которые пробрались на сайт обманом, скрыты от глаз человека, откуда они вообще берутся, как их найти и ликвидировать.
Чаще всего, эта беда внедряется в бесплатные темы, плагины и модули своими шибко хитрыми разработчиками. Кроме высасывания жизненной силы, такие ссылки почти наверняка не совпадают с тематикой донора — будут иметь коммерческий характер или даже adult направленность. Согласитесь, за такое безобразие поисковики сайт не похвалят.
У вас наверное уже чешутся руки побыстрее приступить к поиску скрытой напасти (или убедиться в ее отсутствии) на сайте и, ликуя, уничтожить пакость. Весь вопрос в том, как это сделать. Для начала узнаем врага поближе.
Какие бывают скрытые ссылки
Рассмотрим и разберем самые распространенные способы сокрытия кровососов, их всего два.
1 С применением стиля «display:none»
Стиль display:none делает ссылку на странице невидимой для посетителей, но не для поисковых роботов в исходном коде — <a style=»display: none;» href=»https://wordpress-book.ru»>Учебник WordPress</a>
2 С дополнительным кодированием в «base64»
В этом случае ссылку, кроме того что она уже невидима, еще и кодируют.
В браузере ее не видно, но только не в исходном коде как и в первом случае. А в одном из сотен файлов, куда ссылка установлена, она будет состоять из такой пугающей конструкции:
<!--?php $str='PGEgc3R5bGU9ImRpc3BsYXk6IG5vbmU7IiBocmVmPSJodHRwczovL3dvcmRwcmVzcy1ib29rLnJ1Ij7Qo9GH0LXQsdC90LjQuiBXb3JkUHJlc3M8L2E+'; echo base64_decode($str); ?-->
Я вставил вышеуказанный код в footer.php этого блога и вот что получилось:
Делается это для того, чтобы максимально затруднить администратору ресурса обнаружение и поиск гидры.
Чтобы узнать, во что трансформируется такая абракадабра в браузере, можно воспользоваться любым, специальным для этого сервисом по кодировке, например этим — https://www.base64encode.org/.
Просто скопируйте код, заключенный в одинарные кавычки, вставьте его в верхнее окошко формы и нажмите на зеленую кнопку <DECODE>.
Сервис умеет не только раскодировать, но и кодировать ссылки (вкладка Encode).
Черному оптимизатору останется только такую конструкцию вставить в любой элемент распространяемого шаблона, плагина, модуля и т.д.
Между прочим, тем кто защищает контент от копирования посредством скрипта, встраивающего в конец скопированного текста ссылку на источник (в комментариях к статье «Как защитить контент от воровства» я приводил этот скрипт), есть пища для размышлений. Теперь вы знаете как защитить свою ссылку от удаления в скопированном контенте кем-то или чем-то. Не на 100% защита конечно, но лучше чем ничего.
Как найти скрытые исходящие ссылки
Начнем с небольшого предисловия. Когда-то на wordpress-book.ru стоял плагин, выводящий красивое облако меток в сайдбаре. Давным-давно это было очень модно.
Плагин был переведен на русский язык одним деятелем и им же была вставлена ссылка на свой АГС в файл расширения. Пиявка в блоке облака терялась среди множества меток и ее с удовольствием индексировали поисковые машины. Я же обнаружил вампира тогда случайно с помощью одного сервиса (ссылку не привожу, сдал сервис в последнее время). Вот старый скриншот:
А вот повествование давно минувших дней, как я эту ссылку удалял.
Как видим, на блог без приглашения пробрались 3 ссылки, одна из них полностью открыта для индексации.
И следующей задачей будет найти и удалить паразитов. Для этого в вашем файл менеджере (рекомендую Total Commander) нужно перейти в корень сайта (более подробно я писал об этом в статье- Доступ к сайту через ftp.
- Вызвать окно поиска файлов нажатием кнопки «Поиск файлов» на панели инструментов.
- В поле «Искать файлы» наберите *.*.
- Место поиска пропишется автоматически, это будет корень сайта.
- В поле «С текстом» вставьте текст ссылки, которую нужно найти.
- Нажмите на кнопку «Начать поиск«.
- В поле «Результаты поиска» появится список файлов с адресом их расположения, где была найдена искомая ссылка.
- Нажмите на кнопку «Перейти к файлу«.
В открывшемся файле зловредную ссылку с радостью удаляем.
Невидимые или закодированные ссылки вы найдете точно также, как в примере выше. Только в строку для поиска (пункт 4) вставьте другой искомый текст, в нашем случае display:none или base64.
Следует заметить, что не все найденные конструкции кода, включающие в себя display:none или base64 следует вносить в черный список.
Технологии кодировки в base64 и невидимость при помощи стиля display:none вполне легальны. Их используют разработчики расширений для всех СМС. К примеру, популярный в России плагин «Социальный замок» скрывает контент от посетителя при помощи base64. Будьте внимательны и не нарубите дров в азарте.
С помощью бесплатной программы «Xenu Link Sleuth», вы найдете вообще все ссылки, присутствующие на сайте. Полезно для решения широкого спектра задач по внутренней оптимизации. Ссылка для скачивания и основной функционал программы изложен в статье «Xenu Link Sleuth — Программа для поиска ссылок на сайте«.
Делитесь своими успехами или неудачами в комментариях, буду рад помочь. Желаю удачи!
Смотря как и чем ” спрятанный”
для ламеров, юзеров и прочих начинающих халявщиков есть несколько (по степени трудоёмкости) вариантов
1 – синтаксис/операторы запроса в поисковой системе
в поисковой строке набрать по следующему шаблону ” [содержимое][пробел]site:[адрес домена/сайта]
*пример поиска слова “скидка” по сайту(корневому домену) site.ru – “скидка site:site.ru” данный синтаксис просканирует доступные страницы для просмотра и покажет все страницы в которых присутствует слово “скидка”
*пример поиска файлов с любым названием но только с расширением pdf – “.pdf site:site.ru” как вариант *.pdf всё зависит от конкретной поисковой системы. Как следствие можно играться – “название.” Соответственно будет искать файл с любым расширением но с названием название. так же есть синтаксис который позволяет искать как в названии так и в расширении файла часть этого названия/расширения.
2 – Специализированные программы закачки сайта полностью
так как я понятия не имею о вашей платформе искать вам нужно такими запросами – “site download”, “site sucker” site как вариант заменить web
3 – Ну и как тут уже писали ранее, зайти в исходный код страницы, что зависит как от платформы/ОС так и от конкретного браузера.
В принципе если файл вообще существует а не редирект этого файла на каком то ресурсе, файл достать всегда можно. Однако на всякую хитрожо..ую хитрость найдутся методы защиты. Делайте собственный уникальный контент, ибо за кражу, плагиат и копипаст, по рукам будут давать всё чаще и чаще, и просто жалобой уже не отделаетесь.
RTFM… кибер сопляки. RTFM
Халява переоценённый и насквозь утопичный фактор. Так или иначе платить придётся.
Для особо ограниченных и альтернативно-одарённых
А) Синтаксис нужно вводить непосредственно поисковую строку конкретно поисковика (а не через сквозные панели ввода поиска)
Б) site.ru не существует это пример который нужно заменить адресом(доменом) который вы хотите проверить на содержимое нужное вам
В) кавычки в синтаксисе запроса не пишутся – они показывают границы начала и конца синтаксиса (который требуется ввести.
Наличие ссылок на внешние ресурсы негативно влияет на вес сайта.
Это значит, что присутствие так называемых линков необходимо контролировать и удалять все ненужные, дабы не оказаться под фильтром могущественных поисковиков.
Проблема в том, что не все ссылки могут быть видны посетителю или владельцу сайта.
Специалисты студии «Медиакод» выработали определенный алгоритм действий по поиску и удалению несанкционированных ссылок на внешние ресурсы. Об этом расскажем в данной статье.
Поиск и анализ ссылок
1. Первым делом открываем сайт с помощью браузера Firefox на котором установлено расширение RDS bar
Даже если такое расширение не установлено, то рекомендуем его установить, в будущем оно еще не раз пригодится.
2. Далее смотрим показатель Links (ссылки, выделены красным)
Например, вот какой результат выдал сайт одного из наших клиентов.
3. Третий этап. Находим заботливо подсвеченные расширением RDS bar ссылки.
Из восьми обнаруженных ранее ссылок четыре ведут к разработчикам установленных на сайте модулей. Они подсвечены красным пунктиром и удаляются в случае необходимости без особого труда. Это делается либо путем настройки соответствующих расширений, либо удалением кода в файлах шаблона. Об этом в глобальной сети написано много.
4. На следующем этапе разбираемся со ссылками, которые оказались невидимыми на экране монитора.
Основная проблема состоит в том, чтобы найти зафиксированные браузером ссылки, которые мы не видим на сайте визуально. Это так называемые ссылки для роботов. Они невидимы для посетителей ресурса, но зашиты в коде страницы, а значит, будут учтены роботами поисковых систем и с большой вероятностью передадут вес с ресурса клиента обладателю ресурса, на который ведет скрытый линк.
Итак, с помощью комбинации клавиш «Ctrl+U» открываем исходный код страницы. Перед нами то, что видят роботы. На странице с кодом набираем комбинацию клавиш «Ctrl+F» и в появившемся окошке вбиваем слово «http:». Далее перебираем все элементы кода, которые содержат внешние ссылки. Вот, что у нас получилось:
Анализируя код делаем вывод, что ссылки зашиты в контейнер «rt-sp».
Данный контейнер находится после контейнера с названием статьи на сайте. Для интереса инспектируем код с помощью расширения Firebug и видим, что для контейнера прописан следующий стиль:
#rt-sp {
left: -5000px;
position: absolute;
top: 0;
}
Вот и раскрыта загадка, почему ссылки не были видны нам на экране монитора.
Они смещены на 5000 пикселей — это примерно пять небольших мониторов, а значит находятся за пределами видимости.
Удаление кода
5. А теперь, на пятом этапе начинается самое интересное.
Дело в том, что для удаления указанных ссылок обычный метод поиска искомого кода не дает результатов. А почему так происходит, расскажем далее.
Итак, мы выяснили, что ссылки зашиты в код статьи сайта. Поэтому ищем среди файлов шаблона файл, который отвечает за вывод статьи: default.php. Открываем его с помощью визуального редактора и видим следующий набор символов:
Этот набор символов и будет тем самым кодом скрытой ссылки.
Теперь просто удаляем этот кусок кода, обновляем файл default.php на сервере и проверяем наличие нелегальных ссылок.
Они исчезли, а значит ликвидирована утечка веса с сайта клиента, задача выполнена.
Читайте еще:
- Муки копирайтера — как написать качественную интересную статью для сайта?
- Модель современного сайта, каким он должен быть?
- Интернет бизнес с нуля – морковка для новичка или реальность?
- Что такое индексация сайта простыми словами?
- О регистрации на сайтах, для чего она нужна?
В сегодняшней статье мы узнаем, как увидеть скрытые ссылки на сайтах. Основная проблема заключена в том, что устанавливая различные дополнения для блога, мы по неопытности можем добавлять и невидимые внешние ссылки. Главные носители скрытых ссылок – это плагины, шаблоны, модули, которые добавляются при установке бесплатно. Начинающие веб-мастера порой даже и не подозревают об этом. Понятное дело, если такого нахвататься в большом количестве, то это отрицательно скажется на индексации сайта, поэтому такую удалить ссылку необходимо.
Как на сайте проверить скрытые исходящие ссылки?
Невидимые ссылки поэтому и называются невидимыми, так как при просмотре страниц блога они не обнаруживаются, однако четко определяются поисковыми роботами и успешно ими индексируются. Чтобы найти спрятанный внешний адрес нужно воспользоваться специальными онлайн-сервисами – анализаторами сайта. Эти бесплатные службы сканируют блог на наличие исходящих ссылок в шаблоне, среди которых можно найти и неизвестного происхождения – это и есть скрытые на сайтах ссылки.
Недостаток всех сервисов – это поиск адресов только на указанной странице, и все же, если невидимый код занесен с плагинами, то он будет виден на всех страницах.
Как найти невидимую ссылку на блоге?
Итак, мы теперь знаем, что искать и следующий шаг – это найти зловредный внешний адрес и определить место вывода. Для этого требуется просмотреть исходный код страницы. При проверке анализатором сайта в шаблоне была скрытая найдена ссылка Sterling Аdventures, её видно, если зайти на основную страницу домена, нажать Ctrl+U (просмотр кода страницы) и ввести в поиск Ctrl+F данный адрес.
Здесь также видно, что она расположена после виджета Архивы в сайдбаре и перед подвалом (футером), ей присвоен параметр display: none, то есть невидимая для человека, но индексируемая ссылка поисковиками.
Удаление внешних невидимых ссылок на сайте.
Перед началом внесения любых изменений сделайте резервную копию, тогда в случае неверных действий можно будет просто восстановить сайт.
Самый доступный способ поиска и удаления на сайте скрытых ссылок – это постоянный анализ ресурса. Если при установке нового плагина появились невидимые внешние ссылки, то достаточно избавиться от него и загрузить другой с достоверного источника. А вот когда веб-мастер долго не проводил мониторинг, тогда трудно сказать, где именно скрыта зараза – это как раз мой случай.
Быстрый поиск в файлах темы ничего дал, поэтому скачиваем полностью сайт с хостинга на компьютер (например, с помощью программы FileZilla или через панель администрирования на хостинге). В редакторе Notepad++ осуществляем поиск зловредной невидимой ссылки в файлах блога. Для этого идем в меню Поиск/Найти в файлах, указываем путь к сохраненной папке блога, в поиске забиваем найденную при анализе Sterling Adventures. Проверка блога оказалась положительной, и скрытый адрес был найден.
Судя по названию класса – это плагин Avatars, который я когда-то установил. Долго не думая, избавляемся от данного плагина, затем проверяем онлайн анализатором блог и радуемся, исходящая скрытая ссылка на сайте не обнаружена, то есть успешно удалена вместе с плагином.
Мы с Вами рассмотрели самый простой способ, как увидеть скрытые ссылки на сайте и как их удалить. Надеюсь, теперь решите проблему, а впредь следует чаще проверять исходящие ссылки и наличие невидимого зашифрованного кода на блоге, это сэкономит время и нервы.
С уважением, Дмитрий Байдук
Поделиться ссылкой с друзьями
Похожие материалы:
На заре интернета, если бы вы захотели создать свой сайт, скорее всего, заниматься версткой вам бы пришлось самостоятельно. В этом есть свой плюс, а именно четкое понимание работы своего сайта и полный контроль над кодом. Сегодня, когда сайты стали намного сложнее, для их создания вебмастера чаще всего используют готовые решения — CMS-системы и шаблоны, среди которых наибольшее распространение получили темы для Joomla и WordPress.
Такой подход к сайтостроению экономит массу времени и сил, но он может таить в себе скрытую опасность.
Учитывая количество доступных для скачивания бесплатных шаблонов, плагинов и модулей для популярных CMS, должно показаться странным, что их разработчики и распространители делятся ими исключительно по доброте душевной. Или всё же здесь есть нечто такое, о чём мы не знаем? Всё верно, ибо видимая бесплатность может оказаться лишь прикрытием, и заплатить вам таки придется, хоть и по-иному — в лучшем случае генерированием вашим сайтом рекламного трафика, а в худшем — подпадением его под фильтры поисковых систем.
Чем опасны скрытые ссылки
В чём же подвох? В том, что очень часто в код бесплатных шаблонов и компонентов их авторы вставляют ведущие на «левые» ресурсы скрытые ссылки, среди которых могут быть и явно фишинговые или содержащие вирусы, а это прямая дорога к бану от Google или Яндекс. Однако не нужно считать, что подобными грязными манипуляциями грешат поголовно все разработчики тем и ПО для CMS. Предлагая вебмастерам бесплатные решения, уважающие себя разработчики вполне открыто декларируют свои намерения, указывая на наличие копирайта или ограничений функциональности продукта.
Одна внешняя ссылка на тот же сайт разработчика вряд ли нанесет вред вашему ресурсу, иное дело если таких ссылок окажется много и проставлены они будут на многих страницах. А это уже ссылочный спам, за который полагаются санкции — фильтры Панда или Пингвин от того же Google. Поэтому, если вы всё же решите использовать бесплатные шаблоны, модули или компоненты, обязательно проверяйте свой сайт на предмет внешних ссылок. Увы, такая проверка может оказаться нетривиальной задачей, поскольку ссылки нередко кодируются или подгружаются скриптами с внешних источников.
Как узнать, есть ли на сайте внешние ссылки
Установить наличие внешних ссылок можно как вручную, найдя в коде загруженной в браузере веб-страницы теги с HTTP, так и с помощью специальных приложений и скриптов — онлайновых и десктопных. Одним из них является PR-CY.ru — сервис для анализа и оптимизации сайтов.
Вбив на странице pr-cy.ru/link_extractor URL проверяемой страницы, можно вывести все внутренние и внешние ссылки, в том числе неиндексируемые.
Для анализа всего сайта лучше использовать программу Xenu Link Sleuth, предназначенную для аудита внутренних и внешних ссылок веб-ресурсов.
Запустив приложение, выберите в меню «File» опцию «Check URL», введите в поле адрес вашего сайта, отметьте, если не отмечен, чекбокс «Check external links» и нажмите «OK».
Готово, останется только внимательно изучить список найденных ссылок, отсортировав их по доступным параметрам.
Другой способ проверить сайт на предмет «левых» ссылок — воспользоваться скриптом Find-Link, ссылку на который вы найдете в конце статьи.
Положите скрипт в корень вашего сайта и обратитесь к нему напрямую, вот так: вашсайт.com/find-link.php. Скрипт выведет все внешние ссылки, включая те, которые доступны из панели управления CMS. Также будут выведены пути и имена файлов, в которых прописана ссылка, благодаря чему вы тут же можете их открыть и отредактировать.
Скрипт Find-Link не работает на локальном сервере, использовать его есть смысл после того как сайт будет залит на сервер.
Как удалить внешние ссылки сайта
В наиболее очевидных случаях ссылки на внешние ресурсы вставляются прямо в код главной страницы шаблона index.php. Избавиться от них проще всего, вы просто открываете шаблон Notepad++ и удаляете тег «a href» или содержащий его блок, после чего сохраняете страницу.
Если ссылка прячется где-то в дополнительных файлах, придется немного повозиться. Искать ссылки удобнее всего в Total Commander. Открываем файловый менеджер, переходим в каталог, в котором предположительно находится содержащий ссылку файл и жмем Alt + F7.
В открывшемся окошке поиска файлов отмечаем галкой пункт «С текстом», вводим в поле поиска искомую ссылку и жмем «Начать поиск». Менеджер прочтет файлы кода и выведет их имена и пути, если ссылка будет найдена. В нашем примере Total Commander нашел ссылку в конфигурационных INI-файлах.
Далее всё просто, открываем найденные файлы Notepad++ и удаляем ссылки.
Естественно, работу с файлами выполняем на локальном компьютере во избежание случайных ошибок.
Увы, не все ссылки можно обнаружить таким способом.
Если ссылка закодирована md5 или base64 либо она подгружается с внешнего ресурса, поиск по URL не принесет результатов. В этом случае лучше всего искать по ID или CSS-классу HTML-элемента, в котором выводится ссылка. Способ тем хорош, что избавляет от необходимости расшифровывать ссылку, вы находите и удаляете содержимое блока HTML. В приведенном ниже примере поиск выполнен по классу блока DIV — class=”message”.
В результате чего был обнаружен вывод содержащей ссылку переменной методом JText в PHP-файле.
Меры предосторожности
В действительности, всё может быть сложнее. Особо хитрые авторы шаблонов или компонентов прописывают условия проверки наличия ссылки, при несоблюдении которых функционал или вывод последних нарушается. К сожалению, без знаний языков программирования наладить правильную работу скрипта не получится, ищите шаблон или компонент, чистка которого от ссылок не нарушает его работу или обращайтесь за помощью к специалистам.
Как вариант, скрытые ссылки можно закрыть от индексации, добавив в исходный код значение атрибута rel nofollow, но не факт, что после такой модификации всё будет работать. А вообще, чтобы было меньше хлопот и головной боли, скачивайте шаблоны, компоненты и плагины с официальных сайтов разработчиков, по крайней мере, так вы убережете свой сайт от совершенно левых добавок, которые столь часто встречаются в ПО, выложенном на варезных ресурсах.
Find-Link: yadi.sk/d/1yc087GHoR0u7Q
Xenu Link Sleuth: home.snafu.de/tilman/xenulink.html#Download
Загрузка…
