Какой рейтинг вас больше интересует?
|
Facebook и robots.txt2011-05-14 08:14:53 (читать в оригинале)Если посмотреть на файл robots.txt от Facebook, то можно заметить, что он закрыл все свои страницы для ботов, кроме ботов Baidu, Google, Yahoo, Bing, Naver, Seznam, Teoma и Яндекса. Вроде как нечестно по отношению к остальным, но видать не держит Фейсбук нагрузочку-то… Но самое интересное, что для ботов перечисленных выше поисковиков не закрыты ссылки такого [...] Похожие записи:
|
Категория «Музыка»
Взлеты Топ 5
Падения Топ 5
Популярные за сутки
|
Загрузка...
BlogRider.ru не имеет отношения к публикуемым в записях блогов материалам. Все записи
взяты из открытых общедоступных источников и являются собственностью их авторов.
взяты из открытых общедоступных источников и являются собственностью их авторов.