Основные функции системы Google Map Reduce. Спекулятивное выполнение. Отказоустойчивость

Реализации MapReduce

Обязанности реализации

Запуск MapReduce-программы

Реализация в распределенной среде

Реализация модели MapReduce на вычислительном кластере. Требования к реализации. Общая схема реализации.

Реализации MapReduce от Google и Hadoop ориентированы на использование в кластерной распределенной среде со следующими основными характеристиками:

· узлы среды выполнения MR-приложений обычно представляют собой компьютеры общего назначения с операционной системой Linux;

· используется стандартное сетевое оборудование с адаптерами, расчитанными на скорости передачи в 100 мегабит в секунду или 1 гигабит в секунду, но средняя пропускная способность существенно ниже;

· кластер состоит из сотен или тысяч машин, так что вполне вероятны отказы отдельных узлов;

· для хранения данных используются недорогие дисковые устройства, подключенные напрямую к отдельным машинам;

· для управления данными, хранящимися на этих дисках, используется распределенная файловая система;

· пользователи представляют свои задания в систему планирования; каждое задание состоит из некоторого набора задач, которые отображаются планировщиком на некоторый набор узлов кластера.

Конфигурация задания

Входные данные, способ получения (k1,v1)

Функции map, reduce, partition, combine, compare

Местоположение и формат выходных данных

Параметры запуска (количество map- и reduce-задач...)

Запуск задания: MapReduce.runJob(config)

Остальное берет на себя реализация среды выполнения

Декомпозиция на параллельные подзадачи (map- и reduce-задачи)

Запуск рабочих процессов

Распределение задач по рабочим процессам и балансировка нагрузки

Передача данных рабочим процессам (требуется минимизировать)

Синхронизация и передача данных между рабочими процессами

Обработка отказов рабочих процессов

Распределенная память:

Google MapReduce (C++ / С++, Python, Java)

Apache Hadoop (Java / any)

Disco (Erlang / Python)

хуYandex MapReduce (С++ / any)

Общая память:

QtConcurrent

Phoenix

GPU: MARS.

Инфраструктура Google

: Кластеры из бюджетных серверов

, Сотни тысяч машин

, Отказы являются нормой

. Распределенная файловая система GFS

: Поблочное хранение файлов большого размера

, Последовательные чтение и запись в потоковом режиме

, write-once-read-many

, Репликация, отказоустойчивость

.Узлы кластера одновременно отвечают за хранение

и обработку данных

: Перемещение вычислений дешевле, чем перемещение

данных

. Планировщик

- Распределяет ресурсы кластера между приложениями

.

Программа Master: Управляет выполнением одного MapReduce-задания

, Распределяет задачи между рабочими узлами кластера

, Хранит состояния всех задач

, Осуществляет координацию между map- и reduce-задачами

(Получает информацию о файлах с промежуточными данными от map-процессов

и Передает эту информацию reducе-процессам

), Предоставляет информацию о статусе вычислений через

встроенный HTTP-сервер

.

Дата добавления: 2015-01-03