Архитектура Hadoop-кластера

Подпроекты

Реализация MapReduce в системе Hadoop. Архитектура Hadoop кластера. Особенности файловой системы Hadoop.

Семантика выполнения программы

Обработка отказов

Оптимизации

: Локальность данных

(Направлять map-задачи на узлы, хранящие требуемые данные или

находящиеся рядом

), Локальная редукция

(после Map → combine), Совмещение операций

(Загрузка и сортировка промежуточных данных

), Спекулятивное выполнение

(В конце map или reduce запустить незавершенные задания на нескольких

машинах

).

:

Сбой при выполнении задачи

Отказ рабочего узла

– Сбой аппаратуры, ПО или отзыв узла планировщиком (preemption)

– Определяется через heartbeat

– Перезапуск задач(map: всех (выполненных и незавершенных) + уведомление reduce-процессов

reduce: - только незавершенных)

Отказ мастера(?)

Для детерминированных функций map и reduce гарантируется совпадение результата вычислений с результатом последовательного выполнения программы

Для недетерминированных функций map и reduce гарантируется совпадение результата каждой reduce-задачи с результатом последовательного выполнения программы

Результаты разных reduce-задач могут соответствовать разным последовательным выполнениям

Атомарные операции

– Передача списка промежуточных файлов от map-процесса к мастеру

– Переименование файла в GFS с результатом reduce-задания

ЦЕЛИ:

Открытые реализации технологий Google (GFS, MapReduce...)

Программная платформа для хранения и обработки больших объемов данных:

– Надежность

– Масштабируемость

– Эффективность

– Экономичность

– Open Source

:

Hadoop Common - Общие компоненты

.

HDFS Распределенная файловая система по образу GFS

.

MapReduce - Реализация MapReduce для распределенной обработки больших объемов данных на кластере.

:

Дата добавления: 2015-01-03