Как найти ссылки на удаленные страницы

Сервисы и трюки, с которыми найдётся ВСЁ.

Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.

Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.

Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.

1. Кэш Google, который всё помнит

Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кэша Google надо в адресной строке набрать:

http://webcache.googleusercontent.com/search?q=cache:https://www.iphones.ru/

Где https://www.iphones.ru/ надо заменить на адрес искомого сайта.

2. Web-archive, в котором вся история интернета

Во Всемирном архиве интернета хранятся старые версии очень многих сайтов за разные даты (с начала 90-ых по настоящее время). На данный момент в России этот сайт заблокирован.

3. Кэш Яндекса, почему бы и нет

К сожалению, нет способа добрать до кэша Яндекса по прямой ссылке. Поэтому приходиться набирать адрес страницы в поисковой строке и из контекстного меню ссылки на результат выбирать пункт Сохраненная копия. Если результат поиска в кэше Google вас не устроил, то этот вариант обязательно стоит попробовать, так как версии страниц в кэше Яндекса могут отличаться.

4. Кэш Baidu, пробуем азиатское

Когда ищешь в кэше Google статьи удаленные с habrahabr.ru, то часто бывает, что в сохраненную копию попадает версия с надписью «Доступ к публикации закрыт». Ведь Google ходит на этот сайт очень часто! А китайский поисковик Baidu значительно реже (раз в несколько дней), и в его кэше может быть сохранена другая версия.

Иногда срабатывает, иногда нет. P.S.: ссылка на кэш находится сразу справа от основной ссылки.

5. CachedView.com, специализированный поисковик

На этом сервисе можно сразу искать страницы в кэше Google, Coral Cache и Всемирном архиве интернета. У него также еcть аналог cachedpages.com.

6. Archive.is, для собственного кэша

Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса. Там есть даже несколько сохраненных копий iPhones.ru.

7. Кэши других поисковиков, мало ли

Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com, перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).

8. Кэш браузера, когда ничего не помогает

Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:

Safari

Ищем файлы в папке ~/Library/Caches/Safari.

Google Chrome

В адресной строке набираем chrome://cache

Opera

В адресной строке набираем opera://cache

Mozilla Firefox

Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.

9. Пробуем скачать файл страницы напрямую с сервера

Идем на whoishostingthis.com и узнаем адрес сервера, на котором располагается или располагался сайт:

После этого открываем терминал и с помощью команды curl пытаемся скачать нужную страницу:

Что делать, если вообще ничего не помогло

Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на emailhunter.com:

О других методах поиска читайте в статье 12 способов найти владельца сайта и узнать про него все.

А о сборе информации про людей читайте в статьях 9 сервисов для поиска информации в соцсетях и 15 фишек для сбора информации о человеке в интернете.

(30 голосов, общий рейтинг: 4.80 из 5)

Всем привет! Недавно на почту прислали один достаточно нетривиальный вопрос – “Как найти удаленные страницы сайта, на которые ссылаются другие ресурсы?”. То есть когда-то был документ, на который сослался другой проект. Потом страницу удалили (случайно или специально) либо изменили URL, и ссылка стала вести на документ с 404-ошибкой. Что делать в такой ситуации?

Прежде чем продолжить пост, хочу выразить всем огромное спасибо за поздравления с днем рождения и комментарии к этому посту! Приятные и жизненные пожелания – очень приятно ! Результаты мини-конкурса будут подведены в конце статьи.

Молодые сайты, как правило, не страдают проблемой пропавших страниц. Это больше относится к уже старым проектам, на которых спустя долгий период что-то было удалено.

Итак, найти удаленные страницы с обратными ссылками будет полезно по нескольким причинам (тем более это бесплатно, либо с небольшими затратами). Во-первых, вы узнаете, какие документы были удалены. Впредь подобные страницы лучше не удалять (ведь они собирают линки). Во-вторых, скорее всего, на эти документы были поставлены естественные ссылки (раз вы о них не знали; если бы знали – ничего не удаляли ). В-третьих, вы найдете некорректные линки, которые были поставлены на ваш ресурс (сможете исправить ситуацию). В-четвертых, можно будет узнать, не ставит ли никто специально обратки на разные несуществующие страницы проекта.

Поиск страниц с обратной ссылочной массой

Сначала я задался вопрос – “Как это все сделать?”. Очевидно, что нужно анализировать ссылочную массу, а точнее страницы, на которые ведет хотя бы 1 линк. Для этого есть несколько инструментов. Не в ручную же все делать!? 

1. Яндекс.Вебмастер. Заходим в “Индексирование” -> “Входящие ссылки” и скачиваем архив с данными по входящей ссылочной массе.

Там будут как документы доноров, так и ваши. Единственное, файл в формате txt, поэтому для удобства работы необходимо все из него скопировать и вставить в таблицу, например, excel.

2. Google Webmaster. Практически все тоже самое проделываем и с инструментарием, который предоставляет Гугл. Заходим в “Поисковый трафик” -> “Ссылки на ваш сайт”. Далее жмем “Дополнительно” в блоке “Ваши страницы, на которые чаще всего ссылаются”.

Выводим показ по 500 штук. Выделяем все строки, копируем и вставляем в тот же excel, после, удалив все ненужное. Тут будет неудобный момент с подстановкой имени домена к кускам страниц (в Google Webmaster показываются только уникальные части линков). Вероятно, как-то можно удобно сделать подстановку основного домена через макрос в том же excel. Если кто-то знает расскажите, пожалуйста, в комментариях . Спасибо Profitcore за простое решение!

В итоге получаем excel-файл с 2-мя базами. Большинство вебмастеров может остановиться на этом моменте. Перфекционисты могут пойти дальше, немного заплатив за дополнительную информацию.

3. Ahrefs.com. Я думаю, что с этим сервисом многие знакомы. В отличие от первых 2-х он платный. Ahrefs также может предоставить подобную информацию. Вероятно, база ахрефс будет содержать страницы, которые не показал ни Яндекс, ни Google.

4. Backlink от Page Weight. Это ссылка на пост в блоге, который описывает работу сервиса. В 2-х словах – бюджетный аналог ahrefs для тех, у кого нет там платного аккаунта. База используется одна и та же, но стандартная подписка стоит 500 рублей.

В итоге получаем базу со страницами, на которые ведут ссылки с разных источников. Скорее всего, она будет содержать дубли. Чтобы не нагружать себя, свой и чужие компьютеры лишними данными, нужно их удалить. В excel 2007 года это делается очень легко. Сначала выделяем все строки (можно Ctrl+A). Затем идем в раздел “Данные” и нажимаем на “Удалить дубликаты”.

В появившемся окне кликаем “Ок”. Все – дубли удалены. Очень полезная функция .

Массовая проверка ответа сервера

Теперь необходимо узнать, все ли страницы нашего сайта, имеющие обратную ссылочную массу, работают как надо, либо есть те, которые отдают 404-ошибку (документ не найден). Для этого добавим наш список в один из следующих сервисов (спасибо создателям за их разработку):

1. http://4seo.biz/tools/31/ – бесплатно, быстро и понятно.
2. http://coolakov.ru/tools/ping/ – подольше.
3. http://www.seolium.com/seo/tools/http-status-checker/ – также не особо быстро.

С помощью первого сервиса я получил 1 страницу со статусом 404.

Перехожу на нее. Действительно – “Ничего не найдено”. По URL понимаю, что это относится к данному посту. Вот только ссылка неправильная. Не 10.000, а 1.000. По файлу из Яндекс.Вебмастера смотрю, откуда ведет этот линк.

Получаю 4 обратки с grabr.ru. Вероятно, когда-то я неправильно указал URL, когда давал анонс в этой социальной сети для вебмастеров .

Дальнейшие действия

Существует несколько сценариев действий, которые зависят от разных ситуаций:

1. В моем случае будет уместен 301-редирект (ссылаться на уже существующий документ по другому URL). Так и сделал.
2. Если ошибку совершил владелец площадки, то можно написать ему и попросить сменить адрес на корректный.
3. Восстановить (если это уместно) или создать (если, например, линк с качественной площадки, а владелец не отвечает на письма) страницу по URL, который отдает 404-ошибку.

Вот таким нехитрым образом можно восстановить некоторые ссылки, которые могут быть полезны при продвижении сайта. Отличный пункт для todo-листа проекта с возрастом более 2-х лет. Не правда ли ? Это мероприятие можно проводить раз в 1-2 года, как для своих ресурсов, так и для клиентских сайтов.

Если вы знаете вариант, как проще найти подобные страницы, то напишите, пожалуйста, в комментариях. Буду рад ознакомиться. А то, может быть, изобрел велосипед .

Итоги деньрожденского мини-конкурса

Еще раз большое спасибо за ваши комментарии и поздравления! Подвожу итоги мини-конкурса. Как многие знают, в блоге стоит премодерация на комментаторов, у которых нет хотя бы одного одобренного комментария (защита от спамеров). В связи с этим та картина, которая была вчера, отличается от той, которая показывается сейчас: сегодня доодобрил все отзывы к посту.

Во-первых, это держало некоторую интригу. Во-вторых, не показывало пример очень настойчивых комментаторов . Итак, вот победители конкурса (номер комментария и имя):

13 – Бульбаш
26 – Сергей
39 – Александр
52 – Алексей
65 – fktrc
78 – albedo

Жду ваши R-кошельки, направленные с той же почты, с которой оставлялся отзыв . На сегодня все – до новых встреч!

Бывает просматривая ленту дзен, или гугл новости, или другой какой агрегатор новостей, при переходе на понравившееся превью страница оказывается удалённой. Мы попросту лицезрим страницу 404, оформленную часто как то необычно.

Конечно, если у вас по какой либо причине просто заблокирован какойто сайт, то прочитать его содержимое поможет любой веб прокси, к примеру https://whoer.net/webproxy, или же можете сделать свой собственный прочитав мою запись в дзене.

А если страница была удалена, то на помощь нам придут поисковые системы, яндекс и гугл.

Достаём информацию из кеша поисковых систем

Ничего сложного здесь нет, думаю многие пользователи при поиске какой либо информации в поисковике, замечали напротив каждого сайта в результатах поиска, маленькую стрелочку, нажав на которую мы найдём заветное меню «Сохранённая копия».

Догадливый пользователь уже понял как посмотреть удалённую страницу. Нам нужно скопировать ссылку на удалённую страницу, вставить в поле поиска и нажать «Найти», далее просматриваем при помощи «Сохранённая копия».

Конечно, данный способ сработает только если поисковики успели проиндексировать удалённую страницу, в современном интернете делают это они достаточно быстро, так, что шансы достаточно высокие.

Если страница удалена достаточно давно

Бывает так, что сайт уже не доступен, либо страница на нём удалена очень давно – год и более. В таком случае поисковики могут такую страницу полностью исключить из своей базы, и у нас остаётся последняя надежда – вебархив.

Многие знают, многие слышали, а некоторые не знают – веб архив, это сайт, который собирает по мере своих возможностей копии всех сайтов когда либо существовавших в сети интернет.

И так

Заходим на сайт https://web.archive.org/, в поле «Enter a URL or words related to a site’s home page» вставляем ссылку на нужную страницу и жмакаем «Enter». Перед нами должно предстать поле с датами (как календарь).

С верху временная шкала по годам, чёрные палочки показывают в каком году были сохранены копии сайта, нажимаем на них, и в поле с календарём ищем цифры обведённые бирюзовым (на мой взгляд) цветом

жмакаем их по очереди и ищем нашу страницу в более менее хорошем состоянии, и черпаем из неё нужную информацию.

—————————————————–

зы Последнее время я часто пишу в дзен, и хотелось бы знать нравится вам то, как я и про что пишу. Яндекс обещает сделать комментирование для записей, но эта возможность будет не у всех авторов, а только у популярных, поэтому если вам нужна такая возможность на моём канале дзен, чтобы писать ваши пожелания и жалобы, не забывайте подписывать на канал и ставить “лайки”, спасибо.

Многие пользователи социальной сети ВКонтакте по вине тех или иных обстоятельств вынуждены были некогда произвести удаление аккаунта. Вследствие этого, особенно если профиль был достаточно популярен, становится актуальной такая тема, как просмотр деактивированных персональных страниц.

Просматриваем удаленные аккаунты

На сегодняшний день для просмотра деактивированных аккаунтов ВКонтакте вам так или иначе потребуется обратиться к сторонним средствам. В любом возможном случае вам также потребуется доступ к удаленной странице, а именно пользовательский идентификатор.

Читайте также: Как узнать ID ВК

В рамках рассматриваемого ресурса аккаунт может быть удален окончательно в течение 7 месяцев с момента деактивации. В этом случае некоторые из методов могут не подействовать, так как сам по себе профиль ВКонтакте исчезнет из сети.

Читайте также: Как удалить страницу ВК

Кроме сказанного важно отметить такой аспект, как срок жизни страниц ВК в различных поисковых системах. То есть, на протяжении определенного периода времени удаленный профиль покинет все возможные ресурсы, в базу данных которых был когда-либо занесен с целью упрощения пользовательского поиска.

Аккаунты, в настройках приватности которых была установлена блокировка поисковых систем, к сожалению, невозможно просмотреть, так как в этом случае профиль не сохраняется на других сайтах.

Читайте также: Как скрыть страницу ВК

Способ 1: Поиск Яндекс

В первую очередь крайне важно затронуть такую особенность поисковых систем, как автоматическое сохранение копии страницы. Благодаря данной возможности вы можете без проблем открыть страницу пользователя и посмотреть интересующую вам информацию, выполнив несколько несложных действий.

Некоторые другие поисковые системы точно также, как и Яндекс, сохраняют данные о пользователях ВК в собственной базе данных. Однако конкретно Яндекс лучше любых других аналогичных ресурсов работает с запросами по ВКонтакте.

Перейти к поиску Яндекс

1. Откройте в любом удобном браузере официальный сайт поисковой системы Яндекс, воспользовавшись специальной ссылкой.



2. В основное текстовое поле на открытом сайте вставьте идентификатор удаленной страницы ВКонтакте.



3. Нажмите клавишу «Enter» на клавиатуре или воспользуйтесь кнопкой «Найти» с правой стороны от поискового поля.





4. Заметьте, что вы вполне можете удалить вступительную часть используемого URL-адреса, оставив только идентификатор аккаунта и доменное имя сайта VK.



5. Среди результатов поиска, при существовании возможности просмотра, первым постом будет выступать разыскиваемый персональный профиль.



6. Если вы попытаетесь открыть страницу путем прямого перехода по представленной ссылке, вы будете направлены к уведомлению о том, что аккаунт был удален.



7. Чтобы открыть некогда сохраненную версию аккаунта, рядом с сокращенной ссылкой нужного результата кликните по стрелочке, указывающей вниз.



8. В раскрывшемся списке выберите пункт «Сохраненная копия».



9. Теперь вам будет представлена страница нужного пользователя в том виде, в котором она последний раз была доступна поисковой системе Яндекс.

Обратите внимание на то, что большая часть ссылок и различных функциональных элементов находится в рабочем состоянии. Однако это замечание является актуальным только тогда, когда профиль находится в деактивированном состоянии незначительный период времени.

На этом с данным методом можно закончить, так как если все условия были соблюдены, вы без каких-либо проблем сможете отыскать информацию об удаленной странице пользователя ВК.

Способ 2: Поиск Google

Данный метод, в отличие от первого, является самым простым в плане просмотра некогда удаленных пользовательских профилей. Однако, несмотря на всю простоту, он имеет множество недостатков, сводящихся к тому, что у вас нет возможности посмотреть детальную информацию о пользователе.

В поисковой системе Google, равно как и в случае вышерассмотренного Яндекса, вы можете посмотреть некогда автоматически сохранненую копию страницы.

Учитывая сказанное, профили ВКонтакте после удаления достаточно быстро исключаются из поисковых запросов, из-за чего вы не сможете увидеть информацию в любое удобное время. Наиболее приемлемым этот метод будет только в тех ситуациях, когда человек, удаливший страницу, еще имеет базовую возможность восстановления в течение 7 месяцев.

Читайте также: Как восстановить аккаунт ВК

Перейти к поиску Google

1. Воспользовавшись предлагаемой ссылкой, откройте главную страницу поисковой системы Google.



2. Перейдите к сайту социальной сети ВК и скопируйте из адресной строки браузера URL удаленного пользовательского профиля.



Вам необходимо получить именно идентификатор, а не уникальный адрес персонального профиля. В противном случае вы, вероятнее всего, не сможете найти данные о разыскиваемой странице.

3. Предварительно не затрагивая символы из скопированного идентификатора, вставьте его в поисковую строку на сайте Гугл и нажмите кнопку «Поиск в Google».



4. Если в процессе выполнения рекомендаций вы в точности следовали всем предписаниям, то в первых же строчках на странице результатов вам будет представлена короткая анкета нужного человека.



Зачастую результаты будут значиться за сторонними ресурсами, а не самим сайтом социальной сети ВКонтакте.

5. При некоторых обстоятельствах вы можете попробовать отредактировать используемую ссылку, например, оставив только доменное имя сайта VK с идентификатором.

Теперь работу с поисковыми системами, с целью просмотра когда-либо удаленных аккаунтов, можно закончить и перейти к более радикальному методу.

Способ 3: Веб-архив

Данный метод, равно как и предшествующий, требует того, что бы пользовательский аккаунт не был скрыт особыми настройками приватности. В особенности это касается поисковых систем, так как практически любой поиск на сторонних сайтах имеет с ними связь.

Этот способ вполне может быть применим не только к ВК, но и к некоторым другим социальным сетям.

Если пользовательский аккаунт полностью соответствует требованиям, можно переходить к использованию специального сервиса, предназначенного для просмотра сайтов в некогда сохраненном состоянии. Тут же важно учесть то, что далеко не все страницы соц. сети ВКонтакте имеют ранее сохраненную копию.

Перейти на сайт веб-архива

1. Находясь на сайте ВКонтакте из адресной строки браузера скопируйте URL пользователя, информацию о котором необходимо посмотреть.



2. С помощью предложенной нами ссылки откройте интернет-архив в любом удобном для вас веб-обозревателе.



3. В центре главной страницы веб-архива найдите поисковую строку и вставьте туда ранее скопированный идентификатор профиля, используя сочетание клавиш «Ctrl+V» или контекстное меню обозревателя.



4. В зависимости от настроек приватности вы получите:
• сообщение об ошибке с предложением сохранить указанный URL-адрес в базе данных интернет-архива;



• график сохраненных данных с возможностью просмотра копии сайта ВКонтакте по определенной дате.



5. Чтобы приступить к просмотру страницы для начала нужно выбрать интересующий год в соответствующем блоке.



6. Теперь, после автоматического обновления, пролистайте страницу немного ниже и с помощью календаря выберите точную дату, которой была обозначена та или иная версия аккаунта.



7. Заметьте, что каждая подсветка чисел имеет свое значение:
• серая – сохраненные данные о профиле отсутствуют в базе данных;



• голубая – присутствует одна и более запись в какое-либо определенное время суток;



В зависимости от количества присутствующих записей в один и тот же день круглое выделение вокруг даты увеличивается.

• оранжевая – присутствуют поврежденные данные.



Под поврежденными данными имеются ввиду те случаи, когда аккаунт не может быть доступен, например, из-за ошибки 404.

8. Разобравшись с основными нюансами, выберите любую интересующую дату, наведите на нее курсор мыши, и в раскрывающемся списке кликните по ссылке в соответствии с нужным временным отрезком.



9. После выполнения предлагаемых рекомендаций внутри сайта с интернет-архивом откроется страница пользователя, имеющая тот же вид, который у нее был на момент сохранения в базе данных.



Если вы воспользовались копией, которая была сохранена до момента глобального обновления сайта ВКонтакте, то в ваше пользование будет предоставлен ранний интерфейс VK.

10. Обратите внимание на то, что буквально все элементы на странице являются активными. То есть вы, например, можете без проблем раскрыть подробную информацию.

Используя сервис вы просматриваете аккаунты от лица незарегистрированного пользователя. При этом вы не можете пройти авторизацию и, например, прокомментировать какую-либо запись.

Главным минусом данного сервиса является то, что он демонстрирует пользовательские профили ВК на английском языке из-за особенностей региональных настроек сервиса.

В завершение к данному методу важно уделить внимание тому, что практически все ссылки в интернет-архиве являются активными и ведут они к соответствующей странице, сохраненной в точно тот же временной период. В связи с этим вам следует всегда помнить — далеко не все аккаунты социальной сети ВКонтакте имеют подходящие копии в веб-архиве.