Блог о моддинге, компьютерах и многом другом Голосов: 1 Адрес блога: http://art-modding.ru Добавлен: 2011-03-15 11:50:32 блограйдером Luxurycc

К слову о Robots txt или Мегафон vs Яндекс

2011-07-20 02:00:29 (читать в оригинале)

Роботс тхт нужен для разрешения, либо запрета индексации некоторых директорий и страниц сайта. Представляет он из себя текстовой файл со стандартным набором команд и выглядит вот примерно так: User-agent: YandexBlog Disallow: User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /tag Disallow: /category Disallow: /archive …