Какой рейтинг вас больше интересует?
|
Главная / Главные темы / Тэг «mapreduce»
Подходы и инструменты работы с BigData — все только начинается, начи-на-ет-ся 2015-04-27 12:57:44
Вы еще не сохраняете десятки миллионов событий в день? К вам еще не забегают менеджеры с ...
+ развернуть текст сохранённая копия
Вы еще не сохраняете десятки миллионов событий в день? К вам еще не забегают менеджеры с кричащим вопросом — когда твой дорогущий кластер на «надцати» машинах посчитает агрегированную статистику по продажам за неделю (а в глазах читается: «чувак, ребята на php/python/ruby/go решают задачу за час, а ты со своей Бигдатой тянешь время днями, доколе?»)? Вы еще не вскидываетесь ночью в холодном поту от кошмара: «разверзлось небо и на вас, ваших коллег и весь нафиг город вывалилось огромная куча… Бигдаты и никто не знает, что с этим всем теперь делать»? :-)
Есть еще интересный симптом — в компании скапливается много-много логов и кто-то, по фамилии, отдаленно звучащей как «Сусанин», говорит: «коллеги, а в логах на самом деле сокрыто золото, там есть информация о путях пользователей, о транзакциях, о группах, о поисковых запросах — а давайте это золото начать извлекать»? И вы превращаетесь в «извлекателя» добра из терабайт (и их десятков) информационного водопада под мотивирующие советы: «а разве нельзя в потоке получать ценную для бизнеса информацию, зачем гонять часами кластера?».
Если это не о вас, тогда и не заходите под кат, ибо там — треш и жесткий технологический трепет…
Читать дальше →
Тэги: 1с-битрикс, big, bigdata, data, mapreduce, spark, битрикс, блог, веб-разработка, компании
.NET-реализация модели map/reduce 2014-05-18 13:36:00
wikipedia]. Спред важен, так как отражает
+ развернуть текст сохранённая копия
wikipedia]. Спред важен, так как отражает ликвидность актива. Так чем меньше спред, тем ликвиднее актив, и наоборот. Проблема в том, что на финансовых биржах количество выставленных игроками заявок на покупку/продажу активов – это, в общем случае, цифра с 6-ю нулями. Количество финансовых инструментов, торгуемых, даже одной бирже также исчисляется тысячами. Поэтому расчет спреда финансового инструмента – не самая тривиальная задача. Кроме того, эта задача является параллельной по данным и к ней вполне применены те практики, которые используются для решения задач, связанных с Большими Данными. Ниже мы рассмотрим пример расчета спреда наиболее ликвидных акций биржи ММВБ-РТС, а также in-memory-реализацию программной модели map/reduce на C#, как эффективный подход к расчету спреда акций. Читать полностью
Тэги: .net, finance, mapreduce
MapReduce 2.0. Какой он современный цифровой слон? 2012-11-26 15:01:00
MAPREDUCE-279 «Map-Reduce ... значение январский таск MAPREDUCE-279 играл в ...
+ развернуть текст сохранённая копия
MAPREDUCE-279 «Map-Reduce 2.0». Оставив шутки про число, обращу внимание, что до 1-ой стабильной версии Hadoop остается чуть менее 4 лет. За это время проект Hadoop пройдет эволюцию из маленького инновационного снежка, запущенного в 2005, в большой снежный com ком, надвигающийся на ИТ, в 2012. Давайте разберемся какое же значение январский таск MAPREDUCE-279 играл в этой эволюции и, надеюсь, еще сыграет в 2013 году. Читать полностью
Тэги: architecture, big, data, hadoop, mapreduce
Эластичный MapReduce. Распределенная реализация 2012-09-19 13:09:00
... распределенных вычислений (Hadoop MapReduce). Надежды ...
+ развернуть текст сохранённая копия
Распределенное введение в эластичные проблемы Hadoop Симбиоз облачных технологий и платформы Apache Hadoop уже не первый год рассматривается как источник интересных решений, связанных с анализом Big Data. И основной момент, почему именно «симбиоз», а не «чистый» Hadoop – это, конечно, снижение уровня входа для разработчиков MPP-приложений (и не только) как с точки зрения квалификации (администратора), так и первоначальных финансовых вложений в аппаратную часть, на которой приложение будет исполняться. Второй момент – это то, что облачные провайдеры смогут обойти некоторые ограничения Hadoop*, навязанные архитектурой master/slave (master всегда единичная точка отказа и с этим надо что-то делать) и, возможно (на Microsoft, в связи с параллельно развивавшимся проектом Dryad, была особая надежда), даже сильным сцеплением хранилища данных (HDFS) и компонентами выполнения распределенных вычислений (Hadoop MapReduce). Надежды, относящиеся к первому пункту - снижение стоимости владения Hadoop-кластером - оправдались более чем: крупнейшая тройка облачных провайдеров, с разностью степенью близости к release-mode, начали предоставлять «Hadoop-кластер as a Service» (терминология моя и условная) за цены, вполне «подъемные» для стартапов и/или исследовательских групп. Надежды же, связные с обходом ограничений платформы Hadoop, не сбылись вовсе. Amazon Web Services, как и IaaS-платформа, никогда и не стремилась предоставлять услуги как сервис (хотя и тут есть исключение – Amazon S3, Amazon DynamoDB). И в далеком 2009 году компания Amazon предоставила разработчикам сервис Amazon Elastic MapReduce как инфраструктуру, а не как сервис. Вслед за Amazon в середине 2010 года компания Google анонсировала экспериментальную версию программного интерфейса App Engine MapReduce, в рамках своей облачной платформы Google App Engine. App Engine MapReduce API предоставил разработчикам «Hadoop MapReduce»-подобные интерфейсы к своим, уже работающим по парадигме map/reduce, службам. Но это никак не убрало ограничений сильной связанности хранилища данных и компонентов вычислений. Более того, сам Google добавил туда ограничений - возможности переопределения только map-фазы**, да и сама платформа GAE, со свойственными ей квотами, наложила (как я подозреваю) еще пару ограничений на App Engine MapReduce API. В 2011 года очередь дошла до Microsoft. В октябре 2011 года Microsoft объявила об открытии сервиса Hadoop on Azure. На текущий момент времени он находится в CTP-версии. Попробовать у меня этот сервис из-за отсутствия приглашения (и наличия лени) не получилось. Но, по отсутствию статей о преодоленных ограничениях Hadoop, понятно, что «проблемы» платформы Hadoop и в этом случае оставили решать самой Hadoop. Описанные выше ограничения решений на основе «облачных платформ + Hadoop» позволяют понять круг проблем, решаемых проектом Cloud MapReduce, речь о котором и пойдет далее. Читать полностью
Тэги: big, cloud, compute, data, hadoop, mapreduce
Облачная экосистема Amazon Web Services 2012-09-02 16:19:00
Amazon Web Services ( AWS) – это ...
+ развернуть текст сохранённая копия
Amazon Web Services ( AWS) – это публичная облачная платформа, предоставляемая компанией Amazon. AWS – относится к классу IaaS-решений и предоставляет широкий спектр облачных сервисов. Список облачные сервисов AWS на сентябрь 2012 года представлен в ниже. Читать полностью
Тэги: amazon, cloud, compute, mapreduce, service, web
Главная / Главные темы / Тэг «mapreduce»
|
Взлеты Топ 5
Падения Топ 5
|