Экспериментальный блог Голосов: 1 Адрес блога: http://experienceblog.ru Добавлен: 2012-02-28 09:17:03 блограйдером Raven

Robots.txt

2012-05-13 19:43:01 (читать в оригинале)

Настал черед поговорить о файле robots.txt. Это файл ограничения доступа к содержимому сайта поисковым роботам. То есть, если вы хотите чтобы некоторые страницы сайта в результатах поиска не отображались, то добавьте их в этот файл. К тому же можно добавить в исключения некоторые ненужные директории вашего сайта. Таким образом, файл robots.txt служит для частичного управления … Продолжить чтение »