Seo блог ​белорусского вебмастера Голосов: 0 Адрес блога: http://wm-talk.net Добавлен: 2013-06-08 14:39:11

Для чего нужен robots.txt?

2010-12-20 21:32:28 (читать в оригинале)

Robots.txt – это файл предназначенный для ограничения доступа поисковым роботам к определённом содержимому сайта. Он должен располагаться в корне сайта, т.е. его адрес должен выглядеть так: http://site.ru/robots.txt Также при помощи данного файла можно указать роботу, где располагается карта сайта, а также указать основной домен для сайта при наличии зеркал. Для запрета индексации можно использовать специальные [...]