Создал сайт как его найти в интернете

Как найти свой сайт в поисковой системе

На первый взгляд, проблема поиска своего сайта в интернете кажется бессмысленной. Однако это не так, ведь от позиции сайта в поисковых системах по определенным ключевыми словам определяется авторитетность сайта и количество пользователей сети интернет, переходящих на ваш сайт.

Инструкция

Поисковые системы индексируют, т.е. добавляют в свой каталог, как одностраничные статические сайты, так и огромные порталы и динамические форумы и интернет-магазины. Для того чтобы поисковая система заметила новый адрес в интернете – домен, его необходимо добавить в поисковую машину через так называемую Add Url.Google: http://www.google.com/addurl/Яндекс: http://webmaster.yandex.ru/addurl.xmlRambler: http://www.rambler.ru/doc/add_site_form.shtmlАпорт: http://catalog.aport.ru/rus/add/AddUrl.aspxYahoo!: http://siteexplorer.search.yahoo.com/submitBing! (MSN, Live Search Microsoft): http://www.bing.com/docs/submit.aspxПосле того, как домен был добавлен в Add Url, поисковой машине потребуется от нескольких часов до 2-3 недель, чтобы принять сайт и начать его индексацию. При этом, на сайте, конечно же, должен быть какой-либо текстовый контент.

Если вы хотите анализировать позиции сайта по ключевым словам и фразам и узнать, на какой странице в выдаче находится ваш ресурс при вводе пользователем того или иного запроса, необходимо воспользоваться специальным сервисом. Один из них — «Сеумка» — вычисляет позицию вашего домена в выбранной поисковой системе по заданным ключевикам. «Сеумка» находится по адресу: http://seumka.ru/. Данный сервис, как и многие качественные сервисы по предоставлению SEO-информации, является платным.

Еще один интересный сервис под названием SetLinks является биржой ссылок, которая бесплатно предоставляет услугу мониторинга позиций интернет-ресурса в поисковых машинах. Сайт SEMRush также может показать вам положение страниц вашего сайта в популярных поисковых системах. Сервис расположен по ссылке: http://ru.semrush.com/ru/?db=ru

Некоторую информацию о позициях сайта в поисковых системах по сильным запросам предоставляет сервис Cy-Pr.com: http://www.cy-pr.com/analysis/. Часть информации по сайту предоставляется бесплатно, часть – за деньги.

Войти на сайт

или

Забыли пароль?
Еще не зарегистрированы?

Что сделать, чтобы мой сайт видели поисковые системы

В этой статье мы расскажем, как добавить сайт в поисковые системы: как проиндексировать сайт в Яндексе и добавить сайт в поиск Google.

После публикации сайта позаботьтесь о том, чтобы пользователи могли найти его в Интернете. Если пользователь знает URL-адрес сайта, сделать это легко. Сложнее сделать так, чтобы сайт быстро находился через поисковые системы.

Возникает закономерный вопрос: «Я уже создал сайт, как его разместить в Интернете?». Это связано с индексацией сайта. Прежде чем понять, как добавить свой сайт в поисковики Яндекс и Google, разберемся, что такое индексация.

Что такое индексация

Индексация сайта — это добавление его страниц в базу поисковых систем (поиск в Яндекс, Google, Рамблер, Yahoo, Mail, Bing и т.д.). Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов, учитывая:

• правильное наполнение страниц метатегами (description, title, keywords, h1, p) и их соответствие стандартам вёрстки;
• грамотное расположение текста;
• перелинковку;
• наличие карты сайта (sitemap);
• микроразметку.

В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче. Как добавить сайт на индексацию в поисковики, читайте ниже.

Почему сайта нет в Yandex и Google

Процесс индексации может занимать несколько недель. Представьте, какое количество новых сайтов нужно обойти роботам. Кроме того, не все страницы одного сайта индексируются одновременно. А если в коде есть то, что не удовлетворяет требованиям поисковых систем, индексация затянется.

Если вы только что разместили сайт в Интернете, он не будет сразу же отображаться в Яндекс и Google. Если вам нужно, чтобы сайт как можно быстрее отображался в поисковой выдаче, ускорьте индексацию вручную.

Ниже рассмотрим, как бесплатно добавить сайт на индексацию в поисковики.

Как ускорить процесс индексации сайта

Как сделать так, чтобы сайт стал быстрее видимым для поисковых систем? Нужно самому указать на свой сайт Яндекс и Google. Это делается через специальные панели, предназначенные для разработчиков сайтов: Яндекс.Вебмастер и Google Search Console. Прежде чем следовать инструкции о том, как разместить сайт в Гугл и в Яндекс, авторизуйтесь в нужной системе.

Как добавить сайт в Яндекс.Вебмастер

Чтобы добавить сайт в поисковую систему Яндекс, следуйте инструкции ниже:

Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в Вебмастер.

Как добавить сайт в поиск Google

Как разместить сайт в Гугле, вы узнаете по инструкции:

Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в поисковики.

Мы рассказали о том, как зарегистрировать сайт в Яндексе и Гугле и добавить сайт в поисковые системы бесплатно. Это поможет вам на начальном этапе. Если вы хотите продвигать свой ресурс, рекомендуем также подключить SSL-сертификат. Он поможет в SEO-продвижении проекта: позволит занять более высокую позицию в поисковой выдаче. В REG.RU вы можете заказать бесплатный SSL-сертификат для домена на 1 год: Как заказать бесплатный SSL-сертификат?

Очередной мануал для начинающих разведчиков.

Информация о владельце домена является конфиденциальной и предоставляется регистратором только по запросу органов власти. Но есть несколько возможных способов выведать ее. О них и расскажем в этой статье.

Зачем это нужно: найти управу на человека, который нагло ворует ваш контент, оценить платежеспособность владельца сайта перед тем как сделать ему предложение о покупке, найти специалиста в узкой области, который пишет для своего блога толковые статьи, но подписывается обезличенным никнейном и т.п.

1. Смотрим историю whois

Начать стоит с проверки сайта на who.is. На скрине показан пример, когда c помощью этого сервиса стал известен не только email, но также мобильный телефон и адрес владельца (такое бывает, если очень повезет). Я в шоке от политики приватности своего хостера! В большинстве случаев отображается только ссылка, по которой можно отправить сообщение владельцу домена через регистратора. И с ее помощью есть шанс узнать много интересного.

2. Пытаемся связаться с ним официальным способом

Отправив сообщение через регистратора, можно выведать действующий email человека, его фамилию/имя, контактный телефон и IP-адрес, которые помогут полностью идентифицировать его личность (см. статью 15 фишек для сбора информации о человеке в интернете).

Результат зависит от удачи. Неизвестно проверяет ли человек ту почту, которую указал при регистрации домена и насколько достоверные предоставлены им данные. Также важны ваши навыки социнженерии. Можно предлагать инвестиции, представляться ассистентом Юрия Мильнера:-), убеждать что нужно непременно созвониться по телефону или скайпу, спросить о возможности личной встречи. Главное убедить человека, что судьба подкинула ему реальный шанс заработать и выпросить максимум данных, которые можно применить в дальнейшей разведке.

Желательно добавить фразу: «Пожалуйста, дайте мне знать, что предложение вам не интересно». Это увеличивает шанс того, что человек из вежливости черкнет пару строк, засветив свою почту, имя и IP-адрес.

Также стоит написать всем предыдущим владельцам домена, с просьбой дать контакты тех людей, которым они передали его. Если повезет, то в ответе будет: «Продал Васе N, его телефон +791612345…». Но, к сожалению, люди часто бывают скрытны. Но также часто бывают вежливы и отписываются: «Простите, но я не могу поделиться этой информацией». И это уже нам на руку.

Зная электронную почту бывшего владельца (и его никнейм), можно найти его объявление о продаже сайта/домена на специализированном форуме и список пользователей, которые на него откликнулись. Из них можно составить круг возможных нынешних владельцев домена.

3. Ищем сайты, зарегистрированные на имя владельца

Зная адрес электронной почты человека, можно узнать, какие домены на него зарегистрированы. Сделать это можно на domainiq.com. Не исключено, что одним из этих сайтов окажется личный блог, по которому можно установить личность человека.

4. Обращаемся к хостеру

На hostadvice.com можно узнать хостинг-провайдера сайта. Если вы сможете письменно обосновать необходимость предоставления вам данных о владельце, то есть шанс, что хостер поделится ими с вами. Или будет очень упорны (недели настойчивых писем должно хватить).

Обращаясь к кому-то из сферы IT по интернету лучше представляться женщиной (и ставить в профиль скромное фото со светлыми волосами). Неопытные мужчины думают, что блондинки недалеки, не представляют никакой опасности и с радостью оказывают им мелкие услуги.

5. Смотрим информацию о создателях файлов

Google умеет искать не только по html-страницам, но и по разным типам файлов. Вот пример запроса для поиска пдфок на определенном сайте: filetype:pdf site:tech.yandex.ru

Найденные на сайте файлы нужно скачать на компьютер и в свойствах посмотреть их автора, создателя и т.п. Очень многие люди в информации о компьютере указывают свои реальные имя и фамилию, а при выкладке файлов со своей машины в интернете забывают стереть эту информацию.

Google умеет искать файлы со следующими расширениями:

• doc;
• ppt;
• xls;
• pdf;
• rtf;
• swf.

6. Ищем «полезные» файлы в robots.txt

В этом файле владельцы указывают файлы и папки, которые они закрывают от индексации поисковиками. Иногда там могут быть указаны старые страницы с личными данными или фотографиями. Мой опыт показывает, что есть определенная категория людей, которые использует свои сервера в качестве облачного хранилища и кладут туда что попало. Как правило, файл robots.txt лежит в корневом каталоге сайта.

7. Ищем «полезные» страницы в sitemap.xml

В файле с картой сайта: sitemap.xml, который часто располагается в той же папке, что и robots.txt также можно найти страницы, которые могут содержать полезную информацию. К примеру, страницу с контактами, ссылка на которую была убрана с главной страницы.

8. Ищем почтовые адреса, связанные с доменом

Указываем адрес сайта на emailhunter.co и получаем список адресов, связанных с ним.

9. Ищем сайты, которые ссылаются на домен

Указываем сайт в форму поиска на Backlink Checker и получаем 50 ссылок на страницы, которые ссылаются на него. Есть шанс отыскать среди них профили в соцсетях, а также другие проекты владельца ресурса.

10. Проверяем exif-данные фотографий

Иногда люди выкладывают на свои сайты фотографий без их предварительной оптимизации для веба. Можно попробовать посмотреть пару снимков с помощью Jeffry’s Exif Viewer. Таким образом можно узнать адрес владельца и модель его мобильного телефона.

11. Идентифицируем владельца по лицу

Если сайт небольшой, то можно с помощью поиска Google по картинкам и оператора site: посмотреть все изображения которые есть на нем. Не исключено, что среди них может быть его фотография (какой-нибудь admin.jpg пятилетней давности). Личность человека по фото можно установить с помощью findface.ru.

12. Читаем комментарии в исходном коде

Заходим на сайт, нажимаем Shift + Command + U (или выбираем из меню пункт Показать программный код страницы). Сначала просматриваем HTML-код на предмет палевных комментов с именами и никнеймами. К примеру: «BigFatNagibator, проверь это место пожалуйста!». Попутно ищем js-скрипты, которые были написаны владельцем сайта специально для этого ресурса. Не исключено, что в них может оказаться торжественная надпись «Created by Sasha Petrov. Irkutsk» и ссылка на его профиль в Github.

Результативность всех этих методов зависит большой частью от вашего упорства и смекалки. Если владелец сайта не конченый параноик и живет онлайн-жизнью, то обязательно должна быть ниточка, которая поможет найти его.

Если вам не нужно никого искать, но у вас есть проект, владение которым вы хотели бы скрыть, то рекомендую проверить по всем пунктам из статьи степень сложности идентификации своей личности. Может, будете удивлены.

(26 голосов, общий рейтинг: 4.88 из 5)

В некоторых поисковых системах и серверах найти ваш сайт в их базе данных достаточно легко, в некоторых – очень трудно. Далее мы рассмотрим поисковые системы, в которых достаточно легко можно узнать проиндексирован ли ваш сайт:

AltaVista
Чтобы узнать, проиндексирован ли ваш сайт, надо набрать следующее:

host:newip.ucoz.ru
host:www.newip.ucoz.ru

Приставка www имеет значение! Сайт может быть проиндексирован по разному.

Чтобы узнать, проиндексирована какая либо конкретная страница в AltaVista, достаточно набрать следующую команду: http://kyxe.ru/index.html

Если эта страница есть в базе данных она будет показана.

Если вы введете следующую команду: http://kyxe.ru/load/ , то будут показаны все страницы, которые были проиндексированы внутри данной директории.

Google

Inktomi: AOL Search, GoTo, HotBot, MSN Search
(движок поисковой системы Inktomi используется во всех вышеперечисленных поисковых системах)

Yandex

http://webmaster.yandex.ru/check.xml
Вводим в форму с www и без www

Как подружиться с поисковиками

Работа над интернет-проектами неизбежно связана с последующим продвижением созданного интернет-ресурса. Один из наиболее значимых моментов в этом процессе – это повышение позиций сайта в результатах выдачи поисковых систем.
Но, до того, чтобы достичь высоких позиций, сайт, прежде всего, должен быть добавлен в индекс поисковой системы.

Google.com

Руководство для веб-мастеров

Соблюдение правил, содержащихся в этом руководстве, поможет программе Google найти и индексировать Ваш сайт и определить его рейтинг. Даже если Вы решите не следовать этим советам, мы настойчиво рекомендуем внимательно прочитать “Рекомендации по обеспечению качества“. Они содержат описание некоторых запрещенных действий, которые могут повлечь за собой полное удаление сайта из индекса Google. Удаленные сайты не показываются в результатах поиска на Google.ru и на всех партнерских сайтах Google.

Когда сайт будет готов, сделайте следующее:

• попросите разместить ссылки на него на других сайтах, посвященных похожим темам;
• передайте его в Google на странице http://www.google.com/addurl.html;
• передайте файл Sitemap с помощью наших инструментов Google для веб-мастеров. По таким файлам Google Sitemaps изучает структуру сайта и более полно индексирует веб-страницы;
• сообщите всем заинтересованным сайтам о том, что Ваши страницы опубликованы в Интернете;
• передайте сайт в подходящие каталоги, например в Open Directory Project и Yahoo!, и на отраслевые профессиональные сайты.

Правила дизайна и подбора содержания:

• создайте сайт с четкой иерархией и текстовыми ссылками. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке;
• составьте для пользователей карту сайта со ссылками на его важные разделы. Если в ней окажется более или немногим менее ста ссылок, возможно, удобнее будет разбить ее на несколько отдельных страниц;
• сделайте сайт полезным и информативным. Страницы должны содержать четкое и точное описание содержания;
• подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте;
• старайтесь сделать так, чтобы важные имена и названия, другое важное содержание и ссылки представляли собой текст, а не изображения. Сканер Google не распознает текст, содержащийся в изображениях;
• следите за тем, чтобы теги TITLE и ALT были точными и информативными;
• убедитесь в том, что все ссылки работают. Проверьте правильность кода HTML;
• если Вы решите использовать динамические страницы (то есть такие, в URL которых содержится символ “?”), учтите, что не все “пауки” поисковых систем сканируют динамические страницы так же успешно, как и статические. Советуем сократить длину и количество параметров;
• не размещайте на одной странице слишком много ссылок (не более 100).

Технические рекомендации:

• используйте для проверки сайта текстовый браузер, например Lynx, потому что большинство “пауков” поисковых систем видят сайт точно так же, как Lynx. Если из-за таких замысловатых ухищрений, как JavaScript, cookies, идентификаторы сеансов, фреймы, DHTML или Flash, просмотреть весь сайт с помощью текстового браузера не удается, то и “паукам” поисковых систем, возможно, будет трудно его сканировать;

Рекомендации по обеспечению качества

Здесь перечислены самые распространенные формы обмана и мошеннических манипуляций. Однако Google может негативно отреагировать и на другие недобросовестные действия, которых нет в этом списке (например на использование неправильно написанных названий популярных веб-сайтов с целью обмана пользователей).

Если тот или иной способ обмана не указан на этой странице, это совсем не означает, что Google его одобряет. Веб-мастера, прилагающие усилия к соблюдению духа основных принципов существенно упрощают для пользователей работу в Интернете, а потому их сайты располагаются в списках результатов поиска выше, чем сайты тех, кто тратит время на поиски лазеек.
Если Вы считаете, что другой сайт нарушает рекомендации по обеспечению качества Google, сообщите об этом на странице http://www.google.com/contact/spamreport.html. Google предпочитает разрабатывать масштабируемые автоматизированные решения проблем, поэтому мы стараемся свести к минимуму “рукопашные бои” со спамом. Сообщения о спаме используются при создании масштабируемых алгоритмов, которые распознают и блокируют дальнейшие попытки рассылать спам.

Рекомендации по обеспечению качества:

основные принципы:

• создавайте страницы для пользователей, а не для поисковых систем. Не вводите пользователей в заблуждение и не публикуйте разное содержание для поисковых систем и для пользователей. Клоакинг – а это называется именно так – не приветствуется;

Особые рекомендации по обеспечению качества:

• не используйте скрытый текст и скрытые ссылки;
• не применяйте клоакинг и скрытую переадресацию;
• не отправляйте в поисковую систему Google автоматические запросы;
• не перегружайте страницы словами, не относящимися к теме;
• не создавайте страницы, субдомены и домены, в значительной степени повторяющие содержание друг друга;
• не создавайте страниц, которые устанавливают вирусы, “троянских коней” или другие вредоносные программы;
• не используйте страницы портала, предназначенные исключительно для поисковых систем, и другие трафаретные приемы, например партнерские программы, где оригинальное содержание почти или совсем отсутствует;
• если Ваш сайт участвует в партнерской программе, убедитесь, что он приносит прибыль. Используйте уникальное и релевантное содержание, чтобы пользователи в первую очередь посещали Ваш сайт.

Если сайт не выполняет наши рекомендации по обеспечению качества, он может быть удален из нашего индекса. Если Вы определили, что сайт не соответствует этим требованиям, можно изменить сайт, чтобы соблюсти требования, и отправить запрос на повторное включение сайта в индекс.

Как добавить сайт в результаты поиска Google?

Сайты включаются в результаты поиска Google бесплатно и очень просто, для этого даже не нужно добавлять свой сайт в Google. Google – это полностью автоматизированная поисковая система. В ней используются программы “пауки”, которые регулярно сканируют Интернет и находят сайты для внесения в индекс Google. В действительности, большинство сайтов, представленных в наших результатах, не включаются в индекс по заявке, а находятся и добавляются автоматически, когда “пауки” сканируют Интернет.
Чтобы проверить, включен ли сайт в наш индекс, выполните в Google поиск URL своего сайта. Например, при поиске [ site:www.google.ru ] Вы получите следующий результат: http://www.google.ru/search?hl=ru&q=site%3Awww.google.ru+

Хотя Google сканирует миллиарды страниц, некоторые сайты он неизбежно пропускает. Если наши пауки пропускают сайт, это может быть вызвано одной из следующих причин:

• сайт недостаточно хорошо связан многочисленными ссылками с другими сайтами в Интернете;
• сайт запущен после последнего сканирования, выполненного Google;
• дизайн сайта затрудняет эффективное сканирование его содержания;
• когда мы пытались произвести сканирование Вашего сайта, он оказался временно недоступен или мы получили ошибку при попытке его сканирования. С помощью инструментов Google для веб-мастеров можно узнать, не возникли ли ошибки при попытке сканирования сайта.

Нашей целью является честное и точное представление содержания Интернета. Для ее достижения мы предлагаем рекомендации и советы по созданию сайта, удобного для сканирования. Хотя нельзя гарантировать, что определенный сайт будет обнаружен нашими пауками, эти рекомендации должны повысить шансы на то, что сайт появится в наших результатах поиска.

Как создать удобный для Google сайт?

Что необходимо сделать

Наше руководство для веб-мастеров содержит технические рекомендации, советы по дизайну и обеспечению качества. Ниже приведены подробные советы по созданию удобного для Google сайта.

Предоставьте посетителям необходимую информацию.

Обеспечить высококачественное содержание Ваших страниц, особенно главной. Это единственное самое важное условие, которое нужно выполнить. Если Ваши страницы содержат полезную информацию, они привлекут многих посетителей, а веб-мастера будут создавать ссылки на Ваш сайт. Создавая полезный и информативный сайт, старайтесь, чтобы страницы содержали четкое и точное описание Вашей темы. Подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте.

остарайтесь, чтобы другие сайты ссылались на Ваш.

Ссылки помогают сканерам найти Ваш сайт и могут способствовать тому, что сайт будет чаще показываться в наших результатах поиска. Составляя результаты запроса, Google полагается на рейтинг страницы, или PageRank (это наша мера важности страницы), и усовершенствованные приемы сопоставления текста, что позволяет показывать страницы, которые являются важными и релевантными для каждого запроса. Google подсчитывает число голосов в пользу страницы для определения ее рейтинга, интерпретируя ссылку со страницы А на страницу В как голос страницы А в пользу страницы В. Голоса, подсчитываемые по страницам, которые сами по себе являются “важными”, ценнее и помогают сделать “важными” другие страницы. Обратите внимание на то, что рейтинг сайтов в результатах поиска формируется автоматически, и мы не присваиваем ключевые слова сайтам вручную.

Убедитесь, что содержание сайта легко доступно.

Создавайте сайт с использованием структуры логических ссылок. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке.

Что не следует делать

Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров. Если сайт содержит страницы, ссылки или тексты, не предназначенные для посетителей, Google рассматривает их как вводящие в заблуждение и может игнорировать такой сайт.

Источник: http://www.google.com/support/webmasters/

Yandex.ru

Как добавить сайт в вашу поисковую систему yandex?

Специально добавлять сайт не требуется – если на него есть ссылки на страницах других сайтов, он автоматически будет найден, и, скорее всего, проиндексирован. Если ссылок на сайт еще нет, вы можете воспользоваться формой «Добавить URL», чтобы сообщить роботу о существовании сайта.
Обратите внимание, что добавление URL не гарантирует, что сайт будет проиндексирован или проиндексирован быстро.

Я недавно добавил сайт, а он до сих пор не проиндексирован!

Возможно, с момента добавления прошло слишком мало времени.

Добавление URL не гарантирует, что он будет проиндексирован вообще, это лишь один из способов сообщить роботу поисковой системы, что появился новый сайт. Добавление полезно, если на сайт еще нет ссылок или их число незначительно – так робот быстрее его обнаружит.

Как узнать, проиндексирован мой сайт или нет, и какие страницы есть в индексе?

Введите в форме «Проверить сайт» адрес своего сайта, либо воспользуйтесь операторами языка запросов host или rhost. В некоторых случаях страницы могут временно не показываться, несмотря на то, что они проиндексированы.

Сколько времени надо ждать, чтобы сайт попал в Яндекс?

Мы не прогнозируем сроки индексации сайтов, и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом о сайте до появления его страниц в результатах поиска проходит от нескольких дней до двух недель.

Яндекс совсем не индексирует мой сайт. Почему?

Если какой-либо сайт еще не проиндексирован, это не означает, что роботу он неизвестен, возможно, робот еще не дошел до него, либо индексация сайта запрещена.

Почему индексация моего сайта запрещена?

Индексация сайта может быть запрещена либо по техническим причинам, если он нарушает стандарты и его невозможно корректно проиндексировать, либо за применение сайтом поискового спама.

Почему Яндекс проиндексировал так мало страниц на моем сайте?

Скорее всего, прошло слишком мало времени с момента, когда робот узнал о сайте.
Возможно, все ссылки на вашем сайте сделаны с помощью скриптов, и робот их не понимает. Измените их, либо создайте карту сайта, где есть прямые ссылки на все страницы сайта.
Проверьте, не было ли сбоев на сервере в момент, когда робот Яндекса к нему обращался. Робот, получив от сервера информацию об ошибке, уходит, и повторно дойдет до сайта в порядке общего обхода.
Если с сервером и структурой сайта все в порядке, не беспокойтесь, остальные страницы постепенно будут проиндексированы. В рунете сотни миллионов страниц, и мы не можем отдавать сильное предпочтение одним сайтам в ущерб другим.

Сайт сильно поменялся, а в Яндексе все по-старому. Как быть?

Дождаться переиндексации. Если сайт долго не меняется, робот начинает заходить на него реже, но он все равно помнит про него.

Мой сайт переехал (изменился URL). Что делать?

Сообщите роботу про новый сайт через форму «Добавить URL». Если между страницами старого и нового сайта сохранилось однозначное соответствие, проверьте, чтобы сервер, где расположен старый сайт, выдавал при обращении по старому URL ошибку 301 («Moved Permanently»), а поле Location указывало на соответствующий URL нового сайта. Если старый сайт был закрыт, можете ускорить его удаление из индекса, воспользовавшись формой «Удалить URL».

Может ли робот не индексировать заданные (служебные) участки текста?

Робот Яндекса поддерживает тег noindex, который позволяет решить эту проблему. В начале служебного фрагмента поставьте < noindex >, а в конце – < /noindex >, и Яндекс не будет индексировать данный участок текста.

У меня сайт на иностранном домене – Яндекс его будет индексировать?

Если на нем распознан русский текст, он будет проиндексирован автоматически. Если русского текста там нет, но вы считаете, что ваш сайт интересен пользователям Яндекса, напишите письмо службе поддержки с указанием вашего сайта и просьбой проиндексировать его.

Я добавил в Яндекс сайт через сервис автоматической регистрации в поисковых системах. Почему он не проиндексирован?

Добавлять сайты в нашу поисковую машину можно только при помощи формы на странице «Добавить URL». Согласно Лицензии на использование поисковой системы Яндекса, страницы, добавленные через автоматическую систему, не будут включены в базу.

Что такое робот поисковой системы и что он делает?

Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

Что неправильного в моем файле robots.txt? Почему Яндекс не подчиняется тому, что там написано?

Мы не имеем возможности проверять вручную robots.txt каждого сайта. Прочтите внимательно описание стандарта исключений для файла robots.txt, либо воспользуйтесь скриптом, который на основе анализа robots.txt сообщает, какие именно документы вы запретили для робота Яндекса.

Что будет делать робот со страницей, на которой стоит redirect? А если используется директива refresh?

Как требует стандарт протокола HTTP, Яндекс, получив в заголовке ответа информацию, что данный URL является редиректом (коды 3хх), добавит в список адресов для обхода URL, на который ведет редирект. Если редирект был постоянный (код 301), либо на странице встретилась директива refresh, то старый URL будет исключен из списка обхода.

А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?

У Яндекса есть несколько роботов, которые представляются по-разному.

* Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот
* Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок
* Yandex/1.01.001 (compatible; Win16; H) – робот, определяющий зеркала сайтов
* Yandex/1.02.000 (compatible; Win16; F) – робот, индексирующий пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
* Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) – робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

* Yandex/2.01.000 (compatible; Win16; Dyatel; C) – «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) – «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
* Yandex/2.01.000 (compatible; Win16; Dyatel; N) – «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

У меня сайт на Flash-технологии, он будет проиндексирован?

Да, Яндекс индексирует Flash-документы.

У меня на сайте много страниц в формате RTF (PDF, DOC, XLS и т.д.) Они будут проиндексированы?

Яндекс, кроме стандартного HTML, индексирует следующие форматы: PDF, DOC, RTF и Flash.

Насколько критично, что мой сервер не выдает last-modified? Я пытался настроить, но ничего не вышло.

Во-первых, в результатах поиска не будет показываться дата рядом со страницами вашего сайта, а при сортировке по дате сайт не будет виден большинству пользователей.

Во-вторых, робот не сможет получить информацию о том, обновилась ли страница сайта с момента последней индексации, а так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.

Мой сервер не выдает кодировку, это критично? Я пытался настроить, но ничего не вышло.

Робот Яндекса хорошо определяет кодировку документов, поэтому отсутствие кодировки в заголовках сервера не помешает индексации сайта.

Сайт сделан с использованием фреймов. Яндекс в результатах поиска выдает внутренние страницы сайта. Что нам делать, ведь вся навигация разрушена?

Страница может с помощью JavaScript проверить, открыт ли родительский фрейм с навигацией, а если нет, открыть его.

Ваш робот пытается скачать битые ссылки с моего сайта. Почему?

Робот берет ссылки с других страниц, значит, на какой-то странице указаны некорректные ссылки на ваш сайт. Возможно, вы изменили структуру сайта, а ссылки, стоявшие на других веб-страницах, стали некорректными.

Вы перегрузили мой сервер. Пожалуйста, прекратите!

Для управления поведением роботов используется файл /robots.txt. Напишите в нем запрет для робота Яндекса.

Вы пытались скачать секретную информацию с нашего сервера. Пожалуйста, прекратите, мне она самому нужна.

Робот берет ссылки с других страниц, значит, на какой-то странице указаны ссылки на секретные страницы вашего сайта. Вы можете как закрыть их паролем, так и указать запрет для робота Яндекса в файле /robots.txt, и в том, и в другом случае робот не будет скачивать секретную информацию.

Моя страница периодически пропадает из результатов поиска. В чем дело?

Поисковая система Яндекс имеет кластерную архитектуру. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.

Могу ли я помочь роботу быстрее индексировать мой сайт?

Чтобы ускорить появление остальных страниц сайта в индексе, нужно, во-первых, исключить из индексации ненужную информацию, во-вторых, сообщать роботу о новых страницах:

• запретить в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
• создать карту сайта, то есть страницу или несколько страниц, на которых есть ссылки на все документы сайта;
• выдавать корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменилась);
• каждой уникальной странице сайта, по возможности, должен соответствовать только один URL. Распространенная причина появления дубликатов – генерация сайтом URL с незначащим параметром, изменение которого не приводит (или не всегда приводит) к изменению страницы.

Меня не устраивает заголовок и описание моего сайта в результатах поиска. Как это поменять?

Описание составляется автоматически на основе цитат из текста найденного документа, а заголовок – на основе тега документа title. Поменяв тексты и заголовки документов на вашем сайте, вы поменяете и описание сайта в результатах поиска.

Хочу, чтобы рядом с моим сайтом в результатах поиска показывалась пиктограмма. Как это сделать?

В корневой папке вашего сайта должен располагаться файл favicon.ico – это небольшая картинка (иконка) в специальном формате, которая отображается рядом с адресом вашего сайта в адресной строке браузера и рядом с названием вашего сайта в “Избранном” или в “Закладках” вместо стандартной, общей для всех иконки. Подробнее читайте в специальном хелпе.

Как я могу указать географическую принадлежность моего сайта?

Если сайт описан в Яндекс Каталоге, географическая принадлежность сайта определяется вручную; иначе предпринимается попытка определить его географию автоматически. На первом этапе на основании IP-адреса, URL и языка текстов на сайте производится классификация по странам. На втором этапе сайты, отнесенные к России, классифицируются по городам.

Кроме IP и домена анализируются страницы сайта, где ищутся блоки текста, похожие на контактную информацию. Поэтому наиболее простой способ указать географию ресурса – разместить на сайте полный (с индексом, телефонным кодом и именем города) и корректный адрес владельца.

Географическая принадлежность сайта важна при поиске с ограничением по региону, когда сайты из других регионов не показываются.

Основные принципы:

1. Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.
2. Думайте о пользователях, а не поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?
3. Ставьте ссылки, интересные пользователям вашего ресурса, помогающие найти связанную информацию или проанализировать предложение. Не ссылайтесь только потому, что вас попросили сослаться.
4. Дизайн должен помогать пользователям увидеть главную информацию, ради которой сайт создан.
5. Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Обманутые пользователи уйдут и, возможно, вместе с ними уйдет с сайта робот поисковой системы.

Примеры к принципам:

Если в этом разделе не описан какой-то прием, помогающий повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и духу описанных выше принципов.

Мы стараемся не индексировать или не ранжировать высоко:

• автоматически сгенерированный (бессмысленный) текст;
• сайты, копирующие информацию с других ресурсов и не создающие оригинального контента или сервиса;
• сайты, представляющие товары или информацию по партнерским программам, но не создающие для пользователя никакой добавленной ценности;
• страницы с невидимым или слабовидимым текстом или ссылками;
• сайты, отдающие разный контент пользователю и роботам поисковых систем («клоакинг»);
• страницы и сайты, единственной целью которых является перенаправление пользователя на другой ресурс, автоматически («редирект») или добровольно (реклама без контента);
• сайты, на которых из-за обилия навигационных меню, новостей, вспомогательной информации, рекламы трудно найти их основное содержание;
• страницы и сайты, ставящие ссылки исключительно для обмана поисковых систем и накачивания релевантности;
• сайты или группы сайтов, интенсивно ссылающиеся друг на друга («линкфармы»);
• ссылки, не являющиеся рекомендацией автора посетить ресурс.