Известно, что основной целью оптимизации является обеспечение хорошего доступа для робота с целью проиндексировать максимальное количество качественного и полезного контента. Раскрутка сайтов требует соблюдения многих нюансов, в том числе и наличие правильно составленного текстового файла robots.txt. Данный файл предназначен для управления страницами, которые индексируются поисковым роботом. Если же корневая директория сайта не содержит выше указанного файла, то некоторым поисковикам будет проблематично выполнить индексацию сайта или будет выдаваться страничка «Невозможно найти» (Not Found). В данном случае нужно проверить его наличие. Для этого набираем: www. название вашего домена/robot.txt. Если вместо txt файла, содержащего директивы для поисковиков появляется иное содержание — robots.txt отсутствует. Поэтому прописываем ему корректное содержание и загружаем в корневую директорию сайта так, как поисковые системы, как правило, следуют находящимся в robots.txt директивам.
В некоторых случаях возникает потребность в закрытии сайта от индексации. В частности, например, когда необходим редизайн или сайт только создается. Одним из простейших способов является прописывание в файле robots.txt «Disallow: /». В данном случае поисковик не сможет проиндексировать недоделанные странички. При этом по завершению необходимых работ данное ограничение нужно снять. Существуют различные конструкции используя которые можно закрывать одни и открывать другие как разделы, так и отдельные странички для индексации. Например, использование мета-тега robots nofollow позволит индексировать страницу, но поисковый робот при этом не будет переходить по ссылкам с этой страницы.