Эра Денег Голосов: 0 Адрес блога: http://era-deneg.ru Добавлен: 2014-01-27 17:30:37

Как создать и правильно настроить файл robots.txt для своего сайта?

2014-01-22 19:15:24 (читать в оригинале)

      Всем привет! Надеюсь у Всех получилось успешно создать карту сайта, а теперь нам нужно создать файл robots.txt для сайта. Для начала ознакомимся с определением. Robots.txt - это файл, который способствует ограничению доступа  к содержимому на Вашем блоге для поисковых роботов.    Это нужно для того что бы исключить дублирование Вашего контента. А это