Хабрахабр: Коллективные / Блоги / Захабренные Голосов: 10 Адрес блога: http://habrahabr.ru/blog/ Добавлен: 2007-10-24 18:05:40 блограйдером Robin_Bad

Поисковые машины и технологии / Dataflow работы поисковой машины

2011-07-10 14:01:00 (читать в оригинале)

В продолжение статьи С чего начинается поисковик, или несколько мыслей про crawler

В предыдущей статье я немного порассказал про эксперименты с интенсивностью загрузки и работой Crawler’а, в общих чертах опишу DataFlow проекта до построения индекса, чтобы было понятно о чем я пишу. Каждый шаг я постараюсь описать подробно в соответствующей статье

Итак, скачанная страница первым делом попадает на выделение ссылок. Новые ссылки с текущего сайта попадают в локальную очередь для загрузки в текущей сессии, а на все другие сайты добавляются в общую очередь Crawler’а. В этой очереди содержаться только главные страницы сайтов.

После сбора достаточного количества страниц одного сайта запускается анализатор, выделяются паттерны, присутствующие на большинстве страниц сайта, и они вырезаются.
На выходе получаем тексты страниц без всего лишнего и сгруппированные по сайтам.

---

Серверная оптимизация / [Из песочницы] Gearman – фреймворк для распределения задач, введение

2011-07-10 12:27:49 (читать в оригинале)



    В этой статье, мне бы хотелось рассмотреть один из необычных способов оптимизации приложения, а именно использование проекта Gearman для распределения задач. Gearman является фреймворком для построения таких систем. Примеров кода в статье нет, статья больше вводная, хоть и содержит в себе достаточно практической информации.

---

Facebook / Facebook тестирует новый дизайн домашней страницы

2011-07-10 11:26:06 (читать в оригинале)



Пару дней назад Facebook обновил дизайн домашней странички моего аккаунта. Все остальные пока остались без изменения.

В новом дизайне появилась постоянно обновляемая лента активности. В ней отображаются абсолютно все действия друзей, даже то, что не попадает в основную ленту (комментарии к фотографиям незнакомых людей и т.п.).

---

Twitter / Миграция с Ruby

2011-07-10 10:27:04 (читать в оригинале)

Уверен, что на Хабре обитает огромное число юзеров, облизывающихся при чтении описаний технологий и архитектур, используемых в молодых, динамичных и, что наиболее важно, быстрорастущих в своей пользовательской базе, компаний. К сожалению, относительно небольшое количество наших соотечественников работает в таких компаниях по всему миру, а те, кто все-таки трудится во внутренней кухне, связаны различными условиями трудовых договоров или банальным NDA, запрещающим сливать публике самые интересные подробности. Тем не менее, я лично знаю большое количество специалистов, особенно заинтересованных в высоких нагрузках и не знающих, где получить эту информацию из первых рук.

Эту проблему можно решить единственным способом — предоставить слово кому-то из менеджеров отдела разработки или любому другому человеку, занимающему адекватно высокий пост и разбирающемуся в разработке, а после — тянуть, тянуть из него все подробности. Примерно так поступили в Information Queue, опросив одного из инженеров Twitter'а — Эвана Уивера (Evan Weaver) о том, почему компания так долго развивавшаяся на «рельсах», решила переключиться на использование других технологий и какие это имело последствия.

В этом материале я буду всецело ссылаться на слова Эвана, объясняющего суть миграции и выгод, получаемых от использования JVM, в первую очередь — производительности и, все той же, масштабируемости. Но как мы узнаем чуть позже, решение было так же продиктовано желанием изолировать отдельные сервисы, а так же слегка изменить общую архитектуру продукта.

Итак, история начинается в прошлом году, когда Twitter анонсировал изменения в архитектуре бэкэнда (message queue), а так же заявил о намерении переписать Twitter Storage на Scala, а весной началась работа по переписыванию всего поискового движка. Как часть этих изменений, БД MySQL (лежавшая в основе поиска) была заменена Lucene. И, наконец, совсем недавно команда разработчиков заявила о замене Ruby on Rails в области поиска — на его место встал Java-сервер, который они сами называют Blender. Результатом этой замены стало трехкратное снижение задержки при выполнении поискового запроса.

---

Планшеты / Обзор Asus Eee Pad Transformer

2011-07-10 03:31:45 (читать в оригинале)



26 марта компания ASUS представила гибридный планшет Asus Eee Pad Transformer, отличительной особенностью которого стала опциональная док-станция, выполненная в виде ноутбучной клавиатуры с тачпадом.

Как только, я узнал об устройстве из анонса – сразу же загорелся его купить, поскольку мне оно представилось золотой серединой между тормозными нетбуками и малофункциональными планшетами. К сожалению Asus Eee Pad Transformer очень долго выходил на российский рынок (да и вообще на рынок), и получить на данный момент удалось лишь сам планшет – 16гб Wi-Fi версию. В данном топике я хочу полноценно описать вам все впечатления от недельного использования. Если вам интересно – прошу под хабракат (внимание, под катом очень много фотографий).