• Скопировал в блокнот и убрал search из директории Disallow, так как, как раз ярлыки, как страницы исключались. Я пошарил информацию, вроде должны и они норм попадать в поиск. Blogger устроен так, что метки-ярлыки выступают рубриками. И решил убрать этот поиск, больше и убирать нечего, но как писал уже выше, надо закрывать сайтбары и другие контейнеры элементов меню и рекламы, с них уходит много внешних ссылок ( а это, как я заметил проблема ). Будем смотреть и пробывать разные методы, методы индексирования и ранжирования сайта в поисковую выдачи меняется каждый день. Даже обнаружил, что кончилась ), как говориться халява, помощник подборки ключевых слов переехал в планировщик рекламных компаний Adwords, а это реально усложнит сео – оптимизацию и подборку ключиков. Поэтому надо начинать бороться за каждую страницу.

• Продолжим

• Заходим в Мои Блоги >>Выбираем нужный блог >> Настройки >> Настройки поиска >> Настройки robots.txt

• Я убрал search и теперь этот редактированный файл вставляю в форму изменения файла роботекст, вы можете, что то свое добавить. Советую точно понимать, что вы делаете, эта запись моего блога является ознакомлением, о том, где находится robots. А не, как убить сайт. 

• «*» это знак означает, будет открыто для всех роботов, если поставить Yandex или Googlebot, то можно конкретному поисковому пауку закрыть доступ к конкретным страницам.

Если желаете полностью закрыть сайт от индексации, то в Настройках, выбираем Основные и Конфедициалность и полностью запрещаем бывать поисковым ботам, на нашем сайте.