Создание, продвижение сайтов, Wordpress блогов. Онлайн бизнес. Д Голосов: 1 Адрес блога: http://web-ru.net Добавлен: 2012-01-23 23:46:30 блограйдером Petr

Что интересного в Robots.txt для Google?

2015-05-01 03:11:47 (читать в оригинале)

Чуть менее года назад обнаружил интересное отличие в обработке Robots.txt Гуглом по сравнению с обработкой этого файла Яндексом. По моим наблюдениям, об этом вообще почти никто не знает, хотя вещь важная. Как известно, лишние страницы сайта в индексе всё портят (дубли, например). Если кое-что знать и подкорректировать данный файл, то можно выкинуть “мусор” из индекса Гугла ..дальше про «Что интересного в Robots.txt для Google?»