Seo Times - онлайн газета молодого web мастера Голосов: 0 Адрес блога: http://seotimes.in.ua Добавлен: 2012-02-03 21:15:18

Что такое robots.txt?

2012-01-23 23:04:17 (читать в оригинале)

Добрый день, уважаемые блогеры. Сегодня предлагаю поговорить о правильной индексации Вашего сайта, а точнее о наложении ограничений для поискового робота. В своих предыдущих статьях я уже не раз вспоминал о файле robots.txt, пришло время обсудить подробнее. Файл robots.txt – это файл ограничений доступа к контенту Вашего сайта (подробнее о стандарте исключений для поисковых роботов можно [...]