IT-Century - Век Информационных Технологий Голосов: 0 Адрес блога: http://www.it-century.ru Добавлен: 2012-07-11 08:58:05

robots.txt – что это и для чего он нужен ?

2012-05-28 15:05:28 (читать в оригинале)

Файл robots.txt размещается в корневой директории сайта и описывает исключения для поисковых ботов. Придерживающийся стандартов бот проверяет сначала url “/robots.txt”, если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле разделяются одной или несколькими пустыми строками. Комментарии в [...]