Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Архитектура Hadoop-кластера




Подпроекты

Реализация MapReduce в системе Hadoop. Архитектура Hadoop кластера. Особенности файловой системы Hadoop.

Семантика выполнения программы

Обработка отказов

Оптимизации

: Локальность данных

(Направлять map-задачи на узлы, хранящие требуемые данные или

находящиеся рядом

), Локальная редукция

(после Map → combine), Совмещение операций

(Загрузка и сортировка промежуточных данных

), Спекулятивное выполнение

(В конце map или reduce запустить незавершенные задания на нескольких

машинах

).

:

Сбой при выполнении задачи

 

Отказ рабочего узла

 

– Сбой аппаратуры, ПО или отзыв узла планировщиком (preemption)

 

– Определяется через heartbeat

 

– Перезапуск задач(map: всех (выполненных и незавершенных) + уведомление reduce-процессов

 

reduce: - только незавершенных)

 

Отказ мастера(?)

Для детерминированных функций map и reduce гарантируется совпадение результата вычислений с результатом последовательного выполнения программы

 

 

Для недетерминированных функций map и reduce гарантируется совпадение результата каждой reduce-задачи с результатом последовательного выполнения программы

 

 

Результаты разных reduce-задач могут соответствовать разным последовательным выполнениям

 

 

Атомарные операции

 

– Передача списка промежуточных файлов от map-процесса к мастеру

 

– Переименование файла в GFS с результатом reduce-задания

 

 

ЦЕЛИ:

Открытые реализации технологий Google (GFS, MapReduce...)

 

Программная платформа для хранения и обработки больших объемов данных:

 

– Надежность

 

– Масштабируемость

 

– Эффективность

 

– Экономичность

 

– Open Source

 

:

Hadoop Common - Общие компоненты

.

HDFS Распределенная файловая система по образу GFS

.

MapReduce - Реализация MapReduce для распределенной обработки больших объемов данных на кластере.

:

 




Поделиться с друзьями:


Дата добавления: 2015-01-03; Просмотров: 545; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.008 сек.