Блог о моддинге, компьютерах и многом другом Голосов: 1 Адрес блога: http://art-modding.ru Добавлен: 2011-03-15 11:50:32 блограйдером Luxurycc

К слову о Robots txt или Мегафон vs Яндекс

2011-07-20 02:00:29 (читать в оригинале)

Привет! Блог то у нас по продвижению, вот и давайте на наглядном, скандальном примере посмотрим, насколько важен фаил Robots.txt.     Итак, роботс тхт нужен для разрешения, либо запрета индексации некоторых директорий и страниц сайта. Представляет он из себя текстовой файл со стандартным набором команд и выглядит вот примерно так: User-agent: YandexBlog Disallow: User-Agent: * [...]