Wordpress, личный опыт Голосов: 1 Адрес блога: http://step-step.ru Добавлен: 2011-10-21 11:40:34 блограйдером zingoric

Файл robots.txt для wordpress

2011-11-19 13:06:08 (читать в оригинале)

Файл robots.txt — это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Страницы, которые закрыты от посещения не будут попадать в индекс поисковиков (Yandex, Google и т.д.). Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml User-Agent — Указывает имя робота поисковой системы, для которого предназначены правила файла robots.txt. Если обращаемся [...]