Создание, продвижение сайтов, Wordpress блогов. Онлайн бизнес. Д Голосов: 1 Адрес блога: http://web-ru.net Добавлен: 2012-01-23 23:46:30 блограйдером Petr

Создание Robots.txt для разных роботов Google и Yandex

2012-06-22 00:57:29 (читать в оригинале)

В продолжение всё той же темы файла Robots.txt в этой небольшой статье опишу, как можно задавать правила для отдельных роботов поисковых систем. У каждого поисковика, на самом деле роботов этих довольно много, а если точнее – основной (для текстов) и все остальные. Среди остальных существуют отдельные роботы для картинок, Читать полностью: Создание Robots.txt для разных [...]