Девять лет назад «Международный день телекоммуникаций» был переименован в «Международный день телекоммуникаций и информационного общества». Для золотого миллиарда будущее уже наступило: интернет стал одной из важнейших частей нашей жизни. Ежесекундно по всему миру создаются и потребляются колоссальные объёмы информации, а рынок всевозможных онлайн-сервисов является одним из самых быстрорастущих.

Одной из главных тенденций последнего времени стало развитие облачных технологий. Они используются повсеместно, от файлообменников и видеохостингов до мобильных приложений, сервисов заказа услуг и внутренних корпоративных систем. Подавляющее большинство подобных проектов оперируют неструктурированной информацией, причём ёмкость файловых хранилищ ежегодно увеличивается примерно на 53%. И с ростом объёмов генерируемой и хранимой информации трансформируются и требования к системам хранения данных.
Читать дальше →

В последней части цикла про Hadoop поговорим о том, насколько платформа Hadoop является «серебряной пулей» в мире распределенных вычислений; о спектре решаемых ею задач и ограничениях платформы и о критике и перспективах платформы.

Содержание цикла:

• Введение. Big Data in the Cloud
• 1. Платформа Hadoop. Обзор
• 2. HDFS. Основные концепции и архитектура
• 3. Hadoop MapReduce. Основные концепции и архитектура
• Заключение. Hadoop Save The World?!
• Список источников

ограничения HDFS и ограничения Hadoop MapReduce), так и ограничений собственно самой платформы.

предыдущем посте был сделан обзор платформы Hadoop, рассмотрена структура экосистемы Hadoop. Ниже разберем основные концепции, лежащие в основе HDFS, и архитектуру распределенной файловой системы HDFS.

Одним из ключевых компонентов платформы Hadoop является файловая система HDFS.

Hadoop Distributed File System (HDFS) - распределенная файловая система, которая обеспечивает высокоскоростной доступ к данным приложения.

HDFS является иерархической файловой системой. Таким образом, в HDFS имеется поддержка вложение каталогов. В каталоге может располагаться ноль или более файлов, а также любое количество подкаталогов.

HDFS состоит из следующих обязательных компонентов:

• Узел имен (NameNode) – программный код, выполняющийся, в общем случае, на выделенной машине экземпляра HDFS и отвечающий за файловые операции (работу с метаданными);
• Узел данных (DataNode) – программный код, как правило, выполняющийся выделенной машине экземпляра HDFS и отвечающий за операции уровня файла (работа с блоками данных).

Hadoop содержит единственный узел типа NameNode и произвольное количество узлов типа DataNode.

Основные концепции, заложенные при проектировании HDFS, и архитектурные решения, применяемые для реализации этих концепций, приведены ниже: