Для того, чтобы сайт появился в результатах выдачи какой-либо поисковой системы, его сначала должен
посетить ее поисковый робот. Он проанализирует страницы, проиндексирует изображения, видео, файлы и
другие элементы вашего сайта, и внесет данные о нем в базы поисковика. Без этого система никак не узнает
о вашем сайте, а следовательно, не сможет выдавать его в результатах поиска.
Существует два варианта попадания сайта в индексацию: автоматический и ручной. При автоматическом, робот
поисковой системы сам попадет на ваш сайт, при условии, что существует хотя бы одна внешняя ссылка,
ведущая на него с уже проиндексированного ресурса. Этот вариант быстрее “приманит” робота, поэтому
рекомендуется получить несколько таких ссылок на свой сайт и немного подождать. При ручном добавлении
сайта вы сами подаете данные о нем через специальную форму поисковой системы, после чего он попадает в
очередь на индексацию. При этом нет нужды добавлять все страницы сайта, нужно обозначить только главную,
дальше робот разберется сам. Для некоторых поисковиков, особенно российских, необходимо добавлять сайт
на индексацию именно в ручном режиме.
Сам процесс индексации может занимать от пары-тройки дней до пары месяцев, чаще всего речь идет о двух
неделях.
Однако перед тем, как добавить сайт на индексацию, необходимо подготовить его к встрече робота как
следует. В первую очередь проверьте доступность сайта и надежность серверов, на которых он расположен.
Если по какой-то причине сервер недоступен, робот не сможет попасть на сайт, соответственно, не сможет
его проиндексировать. Также недоступность сайта может повлечь за собой его “выпадение” из индекса
впоследствии.
Кроме того, важно знать, что слишком сложные и ветвистые структуры сайтов роботы тоже не любят: лучше,
если путь перехода на какую-либо страницу будет не более трех шагов-кликов. Если структура вашего сайта
не позволяет так себя упростить, стоит подготовить карту сайта.
Не стоит также использовать страницы большого объема: поисковые роботы индексируют не более 100-200 кб
текста со страницы. Если страница больше, то проиндексируется только ее начало.
Можно также управлять поведением поискового робота на сайте: при помощи файла robots.txt вы можете
запретить или разрешить для индексации те или иные страницы вашего сайта.
