Все для вебмастера Голосов: 0 Адрес блога: http://for-webmaster.ru Добавлен: 2011-12-07 23:08:46

Для чего нужен robots.txt

2011-10-30 17:10:05 (читать в оригинале)

Наверняка все встречали файл robots.txt в корне вашего сайта. В данной статье пойдет речь именно о нем. Robots.txt (Robots Exclusion Protocol) – протокол исключения, в нем указываются страницы сайта которые не следует индексировать поисковой машине. Если у вас есть на сайте закрытые разделы с конфидециальной информацией и вы не хотите чтоб поисковик их индексировал, то [...]