Роботс тхт нужен для разрешения, либо запрета индексации некоторых директорий и страниц сайта. Представляет он из себя текстовой файл со стандартным набором команд и выглядит вот примерно так: User-agent: YandexBlog Disallow: User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /tag Disallow: /category Disallow: /archive …