Hadoop – это программная платформа (Software Framework) построения распределенных приложений для массово-параллельной обработки (Massive Parallel Processing, MPP) данных.

Основные концепции платформы Hadoop были подчеркнуты из докладов инженеров Google [17, 18], опубликованных в 2004-2006 году [7]. Работа над проектом была начата 2005 году. Начиная с января 2008 года, Hadoop становится проектом верхнего уровня Apache Software Foundation. В 2010 году в Facebook, заявили, что имеют наибольший Hadoop-кластер в мире, размер которого составляет 21 ПБайт. К 2011 году пользователями Hadoop стали Yahoo, AOL, Twitter, Amazon, Apple, LinkedIn (полный список можно найти по электронному адресу http://wiki.apache.org/hadoop/PoweredBy). В июле 2011 года было анонсировано, что объем данных в кластере Hadoop возрос до 30 PB [7].

В марте этого же года на ежегодной церемонии MediaGuardian Innovation Awards проект Hadoop был удостоен награды как самый инновационные проект года.

К январю 2012 года о поддержке Hadoop в своих облачных сервисах объявили Amazon (поддержка анонсирована в апреле 2009), Microsoft (CTP-версия с декабря 2011) и Google (доступна с 2011).

27 декабря 2011 года на сайте Apache Software Foundation было анонсировано о доступности версии 1.0.0 платформы Hadoop.

На февраль 2012 года проект Apache Hadoop включает в себя 3 подпроекта:

Тэги: hadoop, hdfs, mapreduce
Постоянная ссылка