Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Технологии информационных хранилищ




Среда распределенных вычислений

Распределенная среда обработки данных

В СУРБД используется комбинация централизованного и локального способов хранения данных.

Система управления распределенными базами данных – система управления базами данных, содержимое которых располагается в нескольких абонентских системах информационной сети.

Распределенная обработка данных – методика выполнения прикладных программ группой систем. При этом пользователь получает возможность работать с сетевыми службами и прикладными процессами, расположенными в нескольких взаимосвязанных абонентских системах.

Распределенная обработка данных

Didtributed Data Processing (DDP)

Система управления распределенными базами данных (СУРБД)

Distributed dataBase management system (DDBMS)

Distributed Computing Environment (DCE)

Распределенная среда обработки данных - технология распределенной обработки данных, представляющая собой стандартный набор сетевых служб для выполнения прикладных процессов, рассредоточенных по группе абонентских систем (по гетерогенной сети). Функции распределенной среды включают:
- службу каталогов, позволяющую клиентам находить серверы;

- службу интерфейса многопоточной обработки;
- службу удаленного вызова процедур;
- службу обслуживания файлов;
- службу безопасности данных;
- службу времени, синхронизирующей часы в абонентских системах.

Технологии информационного хранилища ( Data Warehousing) обеспечивают сбор данных из сущест­вующих внутренних баз предприятия и внешних источников, формирование, хранение и эксплуатацию информации как единой, хранение аналитических данных (знаний) в форме, удобной для анализа и принятия управленческих решений.

К внутренним базам данных предприятия относятся локальные базы подсистем ЭИС (бухгалтерский учет, финансовый анализ, кадры, расчеты с поставщиками и покупателями и т.д.).

К внешним базам – любые данные, доступные по интернету и размещенные на web-cepвеpax предприятий-конкурентов, правительственных и законодательных органов, других учреждений.

Данные информационных хранилищ могут размещаться не только на сервере, но и на вторичных устройствах хранения.

Технология информационных хранилищ стала возможной после появления мейнфреймов и вторичных устройств – оптических устройств хранения данных с высокой ем­костью. Среди них можно выделить CD-ROM (оптические диски только для чтения), WORM (диски с однократной записью), МО (магнитооптические диски, стираемые и перезаписываемые), оптические библиотеки со сменой дисков вручную, библиотеки-автоматы с автоматической сменой дисков (так называемая технология Jukebox).

Для размещения и доступа к данным на таких устройствах разработан ряд файловых систем. Наиболее используемые технологии реализуют системы HSM (Hierarchical Storage Management) и DM (Data Migration). HSM реализует технологии иерархического хранилища , Data Migration – миграции данных.

HSM - система создает как бы «продолжение» дискового пространства файлового сервера на вторичных устройствах (библиотеках-автоматах), доступного приложениям.

При конфигурации HSM указывается размер пространства на сервере, отводимого под буфер для обмена с оптическими библиотеками. Как только это пространство стано­вится занятым, и требуются данные из оптической библиотеки-автомата, реализуется алгоритм миграции данных: наименее используемые файлы с сервера переносятся в библиотеку-автомат, освободившееся пространство передается буферу. Из библиотеки в буфер перекачиваются требуемые файлы. Если приложение обратится к файлу, перене­сенному в библиотеку – автомат, HSM повторяет алгоритм миграции.

Для доступа к информационным хранилищам требуются технологии, удовлетворяющие следующим условиям:

малая задержка. Хранилища данных порождают два типа трафика. Первый содержит запросы пользователей, второй – ответы. Для формирования ответа требуется время. Но так как число пользователей велико, время ответа становится неопределенным. Для обычных данных такая задержка не существенна, а для мультимедийных – существенна;

высокая пропускная способность Д ля обеспечения сбалансированной нагрузки требуется скорость пе­редачи не менее 100 Мега бит/сек;

надежность.

возможность работы на больших расстояниях, так как серверы кластера могут быть удалены друг от друга.

Всем этим требованиям.удовлетворяет АТМ-технология, технологии Fast Ethernet, Fibre Channel и др.

Приложениям клиентов информационное хранилище обеспечивает выбор требуемой им информации по запросам. Запросы клиентов объединяются в распределенные транзакции.

Использование информационных хранилищ дает существенный выигрыш по про­изводительности в системах поддержки принятия решений, в системах обработки большо­го числа транзакций с большим объемом обновления данных. Сами системы на базе ин­формационных хранилищ называют транзакционными системами OLTP ( On-Line Transaction Processing).

Для описания и управления данными в информационном хранилище используется метабаза. Мета – приставка, указывающая на то, что объект относится к более высокому уровню абстракции . Метабаза содержит метаданные, которые описывают, как устроены данные информационного хранилища, частоту изменений данных в источниках, источники данных (возможны ссылки на распределенные базы, размещенные на серверах с дру­гими платформами), кто и как может пользоваться данными, права доступа и др.

Рассмотрим три типа архитектуры информационных хранилищ: витрины данных, двух и трехуровневые архитектуры.

Витрины данных - небольшие хранилища с упрощенной архитектурой, предна­значенные для хранения части данных информационного хранилища с целью снятия на­грузки с основного информационного хранилища. В основном витрины содержат ответы на конкретный ряд вопросов, например, данные АРМ сотрудников организации. Инфор­мация в разных витринах может дублироваться.

Двухуровневая архитектура информационного хранилища (рис. 3.2) обеспечивает ретроспективные запросы (запросы данных за прошлые годы), анализ тенденций, под­держку принятия стратегических решений. Они ориентированы на оперативные базы ор­ганизации и внешние источники, доступные по интернету.

Трехуровневая архитектура информационного хранилища обеспечивает наличие информационного хранилища и витрин данных (рис. 3.3) За счет использования витрин данных ускоряется обслуживание и увеличивается число пользователей по сравнению с двухуровневой архитектурой.

Примерами информационных хранилищ могут служить Oracle VLM, разработанная фирмами Oracle и Digital, Red Brick Warehouse 5.0 корпорации Red Brick Systems, Business Information Warehouse и др.

Поскольку кэш-память базы данных является частью системной области памяти SGA, Oracle VLM фактически снимает ограничения на ее размер и оперирует с «большой» системной областью памяти LSGA.

Технологию VLM можно рассматривать как альтернативу использованию SMP (мультипроцессорных систем), получая выигрыш в производительности.

В настоящее время также значителен рост интереса в области многомерных аналитических хранилищ данных, часто объединяемых под единым названием оперативной аналитической обработки (On-Line Analytical Processing - OLAP). Учитывая, что подобные хранилища предназначены для хранения многолетней информации, одной из специфических задач, выполняемых в процессе эксплуатации в аналитических хранилищах, является анализ разреженности куба и оптимизации технологии его хранения. Кроме того, производится расчет промежуточных агрегатов, которые позволяют значительно оперативнее представлять данные по запросу.




Поделиться с друзьями:


Дата добавления: 2014-01-20; Просмотров: 407; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.011 сек.