Как создать сайт и заработать на нем? Голосов: 0 Адрес блога: http://www.racewebsite.ru Добавлен: 2012-01-21 22:43:34

Какой robots.txt нужен для блога?

2012-01-08 13:32:35 (читать в оригинале)

Многие начинающие блогеры задаются вопросом какой robots.txt нужен для моего блога? Вообще что такое robots? это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием [...]