RSS feed of hiblogger.net user maxi4u Голосов: 1 Адрес блога: http://maxi4u.hiblogger.net/ Добавлен: 2010-05-08 02:04:06 блограйдером maxi4u

Blogger и robots.txt

     До недавнего времени на платформе Blogger не было доступа автора блога к файлу robots.txt.

     Поэтому поисковые роботы Яндекса часто индексировали то, что они принимали за дублированный контент на блоге, соответственно выбрасывая из поиска многие страницы. При проиндексированных страницах общим числом около 200, в поиске была только одна - главная .

      За исключение или разрешение на  индексирование поисковыми роботами страниц и отвечает файл, находящийся в корневой директории сайта, а именно robots.txt.

      В новом интерфейсе платформы Blogger предоставлена возможность самому изменить robots.txt. Это делается прямо в панели управления, в настройках поиска, в разделе Поисковые роботы и индексация. В открывшемся окне просто вписываем такой robots.txt :

      User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/search.html

Disallow: /tags/

Allow: /

Sitemap: http://bratmos.com/feeds/posts/default?orderby=updated

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Disallow: /tags/

Allow: /

       Замените выделенное зеленым цветом название моего блога на свое и вы получите готовый файл robots.txt. Облако тегов в данном случае закрыто от индексирования поисковыми системами.

Источник http://bratmoc.com