Промежуточное программное обеспечение

Концепция грид-вычислений, понятие виртуальной организации. Область применения, виды и примеры грид-систем, классы грид-приложений.

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.

Термин «грид-вычисления» появился в начале 1990-х годов, как метафора, демонстрирующая возможность простого доступа к вычислительным ресурсам как и к электрической сети (англ. power grid) в сборнике под редакцией Яна Фостера и Карла Кессельмана «The Grid: Blueprint for a new computing infrastructure». Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает ресурсами, большими, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

Грид с точки зрения сетевой организации представляет собой согласованную, открытую и стандартизованную среду, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения информации, которые являются частью этой среды, в рамках одной виртуальной организации.

В настоящее время выделяют три основных типа грид-систем: (P – постовщик ресурсов, U – пользователь ресурсов).

1. Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров; P>>U

2. Научные гриды — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit); U>>P

3. Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид, англ. enterprise grid) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий.

то не является гридом?

– Кластер, сетевое хранилище данных, сеть

– Облако.

Требуемая инфраструктура ВО

Разделяемые ресурсы, Сетевые каналы, Программная инфраструктура

Необходимы стандарты и технологии, позволяющие организовать разделяемое использование ресурсов в рамках виртуальных организаций

Важные требования

Автономность владельцев ресурсов

Безопасность

Непрерывность функционирования

Качество обслуживания

Группы, организованные вокруг общих целей

- Сообщества или “виртуальные организации”

Состав и возможности участников неоднородны

- Гетерогенность (неоднородность) – не недостаток, а преимущество

Географическое и политическое распределение

- Участники из разных организаций, городов и стран

Адаптация к изменяющимся условиям

- Динамический состав участников, перераспределение обязанностей и ресурсов.

virtual organization (VO) refers to a dynamic set of individuals or institutions defined around a set of resource-sharing rules and conditions. All these virtual organizations share some commonality among them, including common concerns and requirements, but may vary in size, scope, duration, sociology, and structure.

Примеры грид систем: Еuropean Grid Infrastructure (EGI), Distributed European Infrastructure for Supercomputing Applications (DEISA), Грид LHC.

Классы грид-приложений:

High-Performance Сomputing - задачи с высокими требованиями к вычислительным ресурсам и сетевым каналам, в течение небольшого промежутка времени.

High-Throughput Сomputing - большое количество независимых подзадач с низкими требованиями к

ресурсам, в течение длительного промежутка времени.

Data Intensive Сomputing- вычисления с привлечением больших объемов данных

Many-Task Сomputing – большое количество возможно зависимых подзадач, сочетание HPC и

HTC, многоэтапные вычислительные сценарии (workflow).

19. Технологии построения грид-систем, ключевые функции промежуточного программного обеспечения и принципы реализации. (Я не знаю что тут писать!)

Исследования и разработки в сообществе грид привели к разработке протоколов, сервисов и инструментария, направленного именно на те проблемы, которые возникают при попытке создания масштабируемых ВО. Эти технологии включают в себя:

1. решения по безопасности, поддерживающие управление сертификацией и политиками безопасности, когда вычисления производятся несколькими организациями;

2. протоколы управления ресурсами и сервисами, поддерживающие безопасный удаленный доступ к вычислительным ресурсам и ресурсам данных, а также перераспределение различных ресурсов;

3. протоколы запроса информации и сервисы, обеспечивающие настройку и мониторинг состояния ресурсов, организаций и сервисов;

4. сервисы обработки данных, обеспечивающие поиск и передачу наборов данных между системами хранения данных и приложениями.

Выделяют следующие уровни архитектуры грид:

1. Базовый уровень (Fabric) – содержит различные ресурсы, такие как компьютеры, устройства хранения, сети, сенсоры и др. Здесь определяются службы, обеспечивающие непосредственный доступ к процессорным мощностям, ресурсам памяти, информационным ресурсам, сетевым ресурсам, использование которых распределено посредством протоколов Грид;

2. Связывающий уровень (Connectivity) – определяет коммуникационные протоколы и протоколы аутентификации, обеспечивая передачу данных между ресурсами базового уровня. Связывающий уровень грид основан на стеке протоколов TCP/IP: Интернет (IP, ICMP), транспортные протоколы (TCP, UDP), прикладные протоколы (DNS, OSRF…);

3. Ресурсный уровень (Resource) – реализует протоколы взаимодействия с ресурсами РВС и их управления. Данные протоколы, обеспечивающие выполнение следующих функций:

– согласование политик безопасности использования ресурса;

– процедура инициации ресурса;

– мониторинг состояния ресурса;

– контроль над ресурсом;

– учет использования ресурса;

4. Коллективный уровень (Collective) – отвечает за глобальную интеграцию различных наборов ресурсов и может включать в себя службы каталогов; службы совместного выделения, планирования и распределения ресурсов; службы мониторинга и диагностики ресурсов; службы репликации данных;

5. Прикладной уровень (Applications) – инструментарий для работы с грид и пользовательские приложения, исполняемые в среде ВО. Они могут использовать ресурсы, находящиеся на любых нижних слоях архитектуры Грид.

Распределенная вычислительная система представляет собой программно аппаратный комплекс, ориентированный на решение определенных задач. С одной стороны, каждый вычислительный узел является автономным элементом. С другой стороны, программная составляющая РВС должна обеспечивать пользователям видимость работы с единой вычислительной системой. В связи с этим выделяют следующие важные характеристики РВС:

- возможность работы с различными типами устройств:

- с различными поставщиками устройств;

- с различными операционными системами,

- с различными аппаратными платформами.

Вычислительные среды, состоящие из множества вычислительных систем на базе разных программно-аппаратных платформ, называются гетерогенными;

- возможность простого расширения и масштабирования;

- перманентная (постоянная) доступность ресурсов (даже если некоторые элементы РВС некоторое время могут находиться вне доступа);

- сокрытие особенностей коммуникации от пользователей.

Для обеспечения работы гетерогенного оборудования РВС в виде единого целого, стек программного обеспечения (ПО) обычно разбивают на два слоя. На верхнем слое располагаются распределенные приложения, отвечающие за решение определенных прикладных задач средствами РВС. Их функциональные возможности базируются на нижнем слое – промежуточном программном обеспечении (ППО). ППО взаимодействует с системным ПО и сетевым уровнем, для обеспечения прозрачности работы приложений в РВС (см. рисунок 2). Для того чтобы РВС могла быть представлена пользователю как единая система, применяют следующие типы прозрачности в РВС:

- прозрачный доступ к ресурсам – от пользователей должна быть скрыта разница в представлении данных и в способах доступа к ресурсам РВС;

- прозрачное местоположение ресурсов – место физического расположения требуемого ресурса должно быть несущественно для пользователя;

- репликация – сокрытие от пользователя того, что в реальности существует более одной копии используемых ресурсов;

- параллельный доступ – возможность совместного (одновременного) использования одного и того же ресурса различными пользователями независимо друг от друга. При этом факт совместного использования ресурса должен оставаться скрытым от пользователя;

- прозрачность отказов – отказ (отключение) каких-либо ресурсов РВС не должен оказывать влияния на работу пользователя и его приложения.

Дата добавления: 2015-01-03