Небольшой хак кто запрещает постить новости почти одинаковым названием.

Имея кучу сайтов для DLE, сталкиваешься из одинаковыми проблемами: для примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), все конечно же, Сапа никак не видит их. однако Яндексу они приятнее, да вроде всякого мусора в них меньше: лишь контент. то есть но Яндекс индексирует ссылки вида "my-dle-site/user/ya-spamer”, для которых возвышенность внешних ссылок в течение профилях равным образом никакого контента.
Вообще, причины вспомнить относительно robots.txt могут скрываться разными, для примеру, на этом заветном файле не запрещается передать Sitemap Google’у равным образом Яндексу отнюдь не заходя в течение панель вебмастера.