Модули и шаблоны для DLE - DataLife Engine - Казахстанский сайт Голосов: 1 Адрес блога: http://4dle.kz/ Добавлен: 2011-05-17 09:09:00 блограйдером Fannifem

Robots.txt для Datalife Engine

2011-07-29 19:49:25 (читать в оригинале)

Имея кучу сайтов для DLE, сталкиваешься из одинаковыми проблемами: для примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), все конечно же, Сапа никак не видит их. однако Яндексу они приятнее, да вроде всякого мусора в них меньше: лишь контент. то есть но Яндекс индексирует ссылки вида "my-dle-site/user/ya-spamer”, для которых возвышенность внешних ссылок в течение профилях равным образом никакого контента.
Вообще, причины вспомнить относительно robots.txt могут скрываться разными, для примеру, на этом заветном файле не запрещается передать Sitemap Google’у равным образом Яндексу отнюдь не заходя в течение панель вебмастера.