Сегодня 15 марта, суббота ГлавнаяНовостиО проектеЛичный кабинетПомощьКонтакты Сделать стартовойКарта сайтаНаписать администрации
Поиск по сайту
 
Ваше мнение
Какой рейтинг вас больше интересует?
 
 
 
 
 
Проголосовало: 7279
Кнопка
BlogRider.ru - Каталог блогов Рунета
получить код
Главная /

Главные темы

/

Тэг «mapreduce»

Главные темы

Hadoop save the World? (Платформа Hadoop. Заключение)

   2012-08-19 16:32:00
... 3. Hadoop MapReduce. Основные концепции ... ограничения Hadoop MapReduce), так ...
+ развернуть текст   сохранённая копия
Читать полностью

Тэги: architecture, hadoop, hdfs, mapreduce


Hadoop MapReduce. Основные концепции и архитектура (Платформа Hadoop. Часть 3)

   2012-08-19 16:26:00
... распределенных вычислений Hadoop MapReduce, программной модели map ...
+ развернуть текст   сохранённая копия

Программная модель map/reduce

Выполнение распределенных задач на платформе Hadoop происходит в рамках парадигмы map/reduce*.
map/reduce – это парадигма (программная модель) выполнения распределенных вычислений для больших объемов данных.
В общем случае, для map/reduce выделяют 2 фазы:
  • map(ƒ, c)
    Принимает функцию ƒ и список c. Возвращает выходной список, являющийся результатом применения функции ƒ к каждому элементу входного списка c.
    map(f, c)
  • reduce(ƒ, c)
    Принимает функцию ƒ и список c. Возвращает объект, образованный через свертку коллекции c через функцию ƒ.
    reduce(f, c)
Программная модель map/reduce была позаимствована из функционального программирования, хотя в реализации Hadoop и имеет некоторые семантические отличия от прототипа в функциональных языках.
Читать полностью

Тэги: architecture, hadoop, mapreduce


Платформа Hadoop. Обзор (Платформа Hadoop. Часть 1)

   2012-08-12 14:54:00
концепцию Big Data и место (и роль) в этой концепции программной ...
+ развернуть текст   сохранённая копия
Hadoop – это программная платформа (Software Framework) построения распределенных приложений для массово-параллельной обработки (Massive Parallel Processing, MPP) данных.
Основные концепции платформы Hadoop были подчеркнуты из докладов инженеров Google [17, 18], опубликованных в 2004-2006 году [7]. Работа над проектом была начата 2005 году. Начиная с января 2008 года, Hadoop становится проектом верхнего уровня Apache Software Foundation. В 2010 году в Facebook, заявили, что имеют наибольший Hadoop-кластер в мире, размер которого составляет 21 ПБайт. К 2011 году пользователями Hadoop стали Yahoo, AOL, Twitter, Amazon, Apple, LinkedIn (полный список можно найти по электронному адресу http://wiki.apache.org/hadoop/PoweredBy). В июле 2011 года было анонсировано, что объем данных в кластере Hadoop возрос до 30 PB [7].
В марте этого же года на ежегодной церемонии MediaGuardian Innovation Awards проект Hadoop был удостоен награды как самый инновационные проект года.
К январю 2012 года о поддержке Hadoop в своих облачных сервисах объявили Amazon (поддержка анонсирована в апреле 2009), Microsoft (CTP-версия с декабря 2011) и Google (доступна с 2011).
27 декабря 2011 года на сайте Apache Software Foundation было анонсировано о доступности версии 1.0.0 платформы Hadoop.
На февраль 2012 года проект Apache Hadoop включает в себя 3 подпроекта:
Читать полностью

Тэги: hadoop, hdfs, mapreduce


Data Mining / Spark: дата-майнинг до 30x быстрее Hadoop

   2011-06-23 15:22:06
... масштабируемость и надёжность MapReduce.

Увеличение ...
+ развернуть текст   сохранённая копия

Тэги: dataset, distributed, hadoop, mapreduce, mesos, rdd, resilient, scala, spark


Страницы: 1 2 

 

Главная / Главные темы / Тэг «mapreduce»
Самый-самый блог
Блогер ЖЖ все стерпит
ЖЖ все стерпит
по сумме баллов (758) в категории «Истории»
Изменения рейтинга
Категория «Новости»
Взлеты Топ 5
Падения Топ 5


Загрузка...Загрузка...