СоНоты Голосов: 1 Адрес блога: http://notes.sochi.org.ru Добавлен: 2008-04-30 01:13:55 блограйдером Lurk

Facebook и robots.txt

2011-05-14 08:14:53 (читать в оригинале)

Если посмотреть на файл robots.txt от Facebook, то можно заметить, что он закрыл все свои страницы для ботов, кроме ботов Baidu, Google, Yahoo, Bing, Naver, Seznam, Teoma и Яндекса. Вроде как нечестно по отношению к остальным, но видать не держит Фейсбук нагрузочку-то… Но самое интересное, что для ботов перечисленных выше поисковиков не закрыты ссылки такого [...] Похожие записи:

• Об использовании robots.txt
• Выпас ботов
• Googlebot и robots.txt