Создание, продвижение сайтов, Wordpress блогов. Онлайн бизнес. Д Голосов: 1 Адрес блога: http://web-ru.net Добавлен: 2012-01-23 23:46:30 блограйдером Petr

Как закрыть весь сайт от индексации в Robots.txt, оставив только главную страницу – и зачем так делать?

2013-12-24 20:46:51 (читать в оригинале)

Нередко возникает необходимость скрыть в файле Robots.txt разделы или отдельные страницы сайта от “глаз” поисковых роботов. Это дело известное и причины для него могут быть разные: удаление дублей контента из индекса, выкидывание “застрявших” в индексе несуществующих страниц и т.д. Однако при создании нового сайта бывает полезным закрыть от индексации всё, кроме главной страницы. Например, выЧитать ..дальше про «Как закрыть весь сайт от индексации в Robots.txt, оставив только главную страницу - и зачем так делать?»