Блог D2craft. Отзывы, отчеты, комментарии, мысли, FAQ Голосов: 0 Адрес блога: http://blog.d2craft.ru Добавлен: 2012-06-15 10:06:28

А нужен ли файл robots.txt?

2012-06-12 12:45:57 (читать в оригинале)

А нужен ли файл robots.txt? Кто скажет мне зачем нужен файл robots.txt , да ещё и в корневом каталоге сайта? Просьба не спешить с ответом. Те, кто считает наивно полагает, что robots.txt определяет порядок доступа поисковых машин (считай алгоритмов яндекс Гугль и им подобных), ошибается. Ну как вы можете им определять порядок доступа к разделам [...]