Какой рейтинг вас больше интересует?
|
Главная / Главные темы / Тэг «datejust»
Data Mining / Spark: дата-майнинг до 30x быстрее Hadoop 2011-06-23 15:22:06
В Калифорнийском университете в Беркли разработали фреймворк Spark для распределённых вычислений в ...
+ развернуть текст сохранённая копия
В Калифорнийском университете в Беркли разработали фреймворк Spark для распределённых вычислений в кластерах. На некоторых задачах он превосходит Hadoop в 10-30 раз, сохраняя при этом масштабируемость и надёжность MapReduce.
Увеличение производительности до 30х возможно на специфических задачах, в которых идёт постоянное обращение к одному и тому же набору данных. Например, это интерактивный дата-майнинг и итерационные алгоритмы, которые активно используются, например, в системах машинного обучения. Собственно, для этих двух задач проект и создавался. Но Spark превосходит Hadoop не только в системах машинного обучения, но и в традиционных приложениях по обработке данных.
Читать дальше →
Тэги: dataset, distributed, hadoop, mapreduce, mesos, rdd, resilient, scala, spark
Про ДВИФ и выступления в Хабаровске 2011-05-26 16:54:15
Итак, для сегодня (по Хабаровскому времени) я отвыступался на Дальневосточном интернет форуме ( http ...
+ развернуть текст сохранённая копия
Итак, для сегодня (по Хабаровскому времени) я отвыступался на Дальневосточном интернет форуме ( http://www.dvif.org ), а вчера выступал в ТОГУ. Оба дня я говорил про открытые данные и то к чему они нужны и к чему они приводят. Говорил про конкурсы на их основе и отдельно говорил о проекте «Государственные люди». Начну с выступления в ТОГУ. Тема была «Открытые данные», а сама лекция проходила в здании Тихоокеанского государственного университета. Слушали меня их студенты, как...(read more)  
Тэги: data, dataset, egov, gov, government
Памятка по журналистике данных 2011-05-22 13:22:05
Возможно, кто-то из Вас уже ранее слышал этот термин «журналистика данных» или « ...
+ развернуть текст сохранённая копия
Возможно, кто-то из Вас уже ранее слышал этот термин «журналистика данных» или « data driven journalism «. Если нет, то всячески рекомендую начать со статьи Евгении Шевниной в Mediapedia, заметку в блоге NewMediaLine – 10 фактов о журналистике данных , а также статью в блоге Сергея Рачинского – Журналистика баз данных: Модный тренд или будущее профессии? Итак. Что же такое журналистика данных? Журналистика данных – это совмещение журналистом роли переводчика...(read more)  
Тэги: blogging, data, dataset, egov, gov, government, opengovdata, opensource
Отчет McKinsey о больших данных – Big Data: The next frontier for innovation, competition and 2011-05-20 11:48:22
Известные всем McKinsey выпустили отчет об использовании и возможностях использования больших данных ...
+ развернуть текст сохранённая копия
Известные всем McKinsey выпустили отчет об использовании и возможностях использования больших данных в США и мире. Прочитать его можно по ссылке http://www.mckinsey.com/mgi/publications/big_data/pdfs/MGI_big_data_full_report.pdf Там широко охвачены 5 тем: - здравоохранение (США) - госуправление (Евросоюз) - розничная торговля (США) - производство (весь мир) - данные о личном местонахождении (весь мир). Лично я отчет рекомендую почитать поскольку он из тех документов где доступным языком доносятся...(read more)  
Тэги: dataset, egov, government
О проектах по контролю за госрасходами в Мире 2011-05-16 11:40:47
Примеры того как организации и граждане мониторят госзакупки/госрасходы/госконтракты в мире: Частные ...
+ развернуть текст сохранённая копия
Примеры того как организации и граждане мониторят госзакупки/госрасходы/госконтракты в мире: Частные и некоммерческие проекты: AidData ( http://aiddata.org ) – собирают базу по всем расходам международных организаций и государств на поддержку и развитие других стран. Предоставляют все собранные данные в виде огромной базы с возможностью доступа через API, возможностью скачать все данные. Ранее этот проект существовал в виде базы PLAID, также доступной у них на сайте. У проект сильная методология...(read more)  
Тэги: data, dataset, egov, gov, government, opengovdata, opensource
Страницы: 1 2 3 4 5 6 7 8 9 10
Главная / Главные темы / Тэг «datejust»
|
Взлеты Топ 5
Падения Топ 5
|
