Грид-системы из персональных компьютеров. Основные реализации

Процесс TaskTracker (рабочие узлы)

Hadoop MapReduce

Hadoop Distributed File System (HDFS)

:

Хранение больших наборов данных

Отказоустойчивость

Модель "write-once-read-many"

Streaming data access

Перемещение вычислений дешевле, чем перемещение

данных

.

Иерархическая структура (Управляется выделенным узлом namenode)

Файлы разбиваются на блоки (chunks) (По умолчанию 64 Mb)

Файлы хранятся на узлах datanodes (Репликация, по умолчанию 3 копии)

Клиенты (Поиск ближайшей реплики с помощью namenode, Получение данных напрямую с datanode)

:

Процесс JobTracker (головной узел кластера)

Принимает задания (job) от приложений

Разбивает задание на много задач (tasks)

Распределяет задачи по узлам

Отслеживает выполнение задач

Осуществляет перезапуск задач

Запрашивает новые задачи

Загружает код и запускает задачу в новой JVM

Уведомляет JobTracker о статусе задачи

Предоставляет доступ к промежуточным файлам

Реализация MapReduce-программ для Hadoop

: Java, C++ - через SWIG, любые другие языки.

Грид - это система, которая:

Координирует использование ресурсов при отсутствии централизованного управления данными ресурсами.

Использует стандартные, открытые, универсальные протоколы и интерфейсы.

Нетривиальным образом обеспечивает высококачественное обслуживание.

По типу ресурсов:

Грид данных.

Информационный грид.

Вычислительный грид.

Технологии Грид систем из персональных компьютеров (ГСПК) позволяют использовать простаивающие мощности персональных компьютеров для решения трудоемких вычислительных задач. ГСПК может использоваться в пределах одной организации или же объединять ресурсы добровольных участников из одного города, страны или даже всего мира.

Грид-системы из персональных

компьютеров (основные понятия)

:

Вычислительный узел – программа клиент.

Сервер проекта.

Клиентская часть распределённого приложения.

Серверная часть распределённого приложения.

Механизм контрольных точек.

Репликация.

26. Система BOINC. Принцип работы инфраструктуры. BOINC-менеджер, BOINC-клиент, сервер, серверная и клиентская части распределённого приложения.

BOINC (Berkeley Open Infrastructure for Network Computing) — открытая программная платформа университета Беркли для грид-вычислений) — некоммерческое межплатформенное ПО для организации распределённых вычислений. Используется для организации добровольных вычислений.

27. Система BOINC. Основные понятия. Приложение, версия приложения, расчётный блок, результат, физические и логические имена файлов. Master-URL. Начисляемые баллы.

28. Архитектура BOINC-сервера. Apache. MySQL, PHP. Демоны.

29-32 — сделали на практике(i hope)

Дата добавления: 2015-01-03