Pro-infobusiness.ru Голосов: 1 Адрес блога: http://pro-infobusiness.ru Добавлен: 2012-10-14 16:00:50

Настройка robots.txt

2014-04-16 10:33:53 (читать в оригинале)

Приветствую всех на своем блоге! Сегодняшняя тема- настройка файла robots.txt, что это за файл и для чего он нужен. Файл robots.txt – полностью оправдывает свое название, так как является инструкцией для поисковых устройств (роботов).  Этот документ находится в корневой папке сайта и ведет управление поисковых роботов, и в частности, запрещает индексацию разных частей сайта. Проверить файл robots.txt своего блога […]