Голосов: 1 Адрес блога: http://www.v-blog.com.ua Добавлен: 2012-04-03 12:04:41 блограйдером creator305

Все о файле robots.txt

2012-04-18 11:49:45 (читать в оригинале)

Файл robots.txt представляет собой обычный текстовый документ, содержащий инструкции для робота поисковика, как ему необходимо индексировать ваш сайт. При индексации вашего сайта робот в первую очередь обращает внимание на robots.txt, который должен находится в корне сайта. Цель файла подсказать поисковому роботу какие разделы вашего сайта ему можно посещать. Если для вашего сайта используется   система управления (CMS), [...]