Партнерки Голосов: 1 Адрес блога: http://xn--80akjhnkicp.su Добавлен: 2011-06-21 11:42:31

Что такое robots.txt

2012-02-20 05:18:29 (читать в оригинале)

Самый простой и обязательный файл каждого текста — это robots.txt, который находится в корневой директории сервера. Назвать его по другому никак нельзя. Что представляет собой этот файл. robots.txt — это файл, который предназначен для поисковых систем и указывает поисковым ботам, что нужно индексировать на сайте, а какие страницы или разделы запретить. Веб мастер указывает параметры [...]