Как заставить Yandex, Google, Rambler проиндексировать сайт

Почему Яндекс (Google, Rambler, и т.д.) не индексирует мой сайт? Как заставить его проиндексировать сайт?

Возможны несколько причин, по которым сайт не индексируется.

1. Прошло недостаточно времени с момента заполнения формы
   добавления сайта. Самый быстрый робот у Яндекса. Если он не
   загружен, то добавляемая страница появляется в результатах поиска уже
   через 3 часа. Большинство страниц попадают в индекс не позже, чем через
   неделю с момента добавления. У остальных поисковиков время обновления
   индекса существенно больше -- можно начинать беспокоится месяца через
   полтора.
   
   
   
2. В момент визита робота поисковика сайт был недоступен или имел
   очень большое время отклика. Если сервер "тормозит" не постоянно,
   то рано или поздно сайт попадёт в поисковик. Через какое время -- см.
   пункт 1.
   
   
   
3. Некоторые поисковики (например, Google) индексируют только те
   сайты, на которые есть хотя бы одна внешняя ссылка с документа, уже
   проиндексированного данным поисковиком.
   
   
   
4. Некорректная настройка сервера. Самая распространённая
   ошибка среди любителей использовать .htaccess -- в результате применения
   директив ErrorDocument или RewriteRule робот поисковика при обращении к
   robots.txt получает от сервера код отличный от 200(OK) или 404 (Not
   Found). Некоторых роботов (Rambler) это вводит в ступор и индексация не
   произойдёт до тех пор, пока не ошибка не будет исправлена. Как избежать
   ошибки: в случае использования ErrorDocument всегда создавать robots.txt
   хотя бы и пустой, в случае использования RewriteRule быть аккуратным и
   всегда проверять код ответа сервера.
   
   
   
5. Неправильно написанный robots.txt. При попытке запретить
   индексацию сервера для какого-либо робота под правило попадают и другие
   роботы. Как избежать ошибки? Всегда проверять
   правильность составления robots.txt.
   
   
   
6. Поисковик не может распознать ссылки на страницах сайта.
   Самый распространенный случай -- все ссылки сделаны на JavaScript или на
   Flash. Некоторые поисковики неадекватно понимают редиректы. Наиболее
   "безопасен" в этом смысле Google -- он отлично справляется как со
   ссылками на флэше, так и с редиректами, и лишь JS ему еще не совсем по
   зубам.
   
   
   
7. Сайт был забанен.
   
   
   
8. Проблемы у поисковика. Серьезные сбои редки, но случаются,
   и если избыточность аппаратуры оказывается недостаточной, часть индекса
   теряется. Кроме того, проблемы могут быть связаны с кластерной
   структурой поисковика.
   
   
   
9. Использование динамических страниц. Это будет раскрыто в
   отдельном пункте FAQ, а пока можно заметить, что динамические страницы
   индексируются нормально далеко не всеми поисковиками. Почему? Динамика
   несет два вида проблем. Первая -- дублирование информации. Если для
   сайта URL вида .../page.php?par1=x&par2=y означает, как правило, то
   же, что и .../page.php?par2=y&par1=x, то для поисковика это совсем
   другая страница. Особенно часто эта проблема возникает при отслеживании
   сессий посетителей -- роботы поисковиков не используют cookies, и потому
   URL для них каждый раз меняется. Вторая проблема -- робот может легко
   перегрузить сайт, который формирует страницы динамически.
   
   
   
10. Сайт находится в неиндексируемой зоне. У каждого поисковика
    есть своя "область действия", например, Яндекс и Рамблер охватывают
    русскоязычную часть интернета. Поэтому, если сайт не входит в
    соответствующие доменные зоны (например, su, ru, am, az, by, ge, kg, kz,
    md, tj, ua, uz для Яндекса; ru, su, ua, by, kz, kg, uz, ge для
    Рамблера), то автоматическая индексация может не пройти. В таком случае
    необходимо написать письмо в службу поддержки поисковика с просьбой о
    включении сайта в индекс.
    Многие крупные поисковики чураются
    бесплатных хостингов с сотнями тысяч сайтов, равно как и редиректных
    служб (таких, как da.ru) и если ваша страница расположена на одном из
    подобных хостингов, индексации можно ждать вечно.