Что такое хранилища данных

Лекция 10. Хранилища данных

Тест FASMI

Fast (Быстрый) - анализ должен производиться одинаково быстро по всем аспектам информации. Приемлемое время отклика - 5 сек. или менее.

Analysis (Анализ) - должна быть возможность осуществлять основные типы числового и статистического анализа, предопределенного разработчиком приложения или произвольно определяемого пользователем.

Shared (Разделяемой) - множество пользователей должно иметь доступ к данным, при этом необходимо контролировать доступ к конфиденциальной информации.

Multidimensional (Многомерной) - это основная, наиболее существенная характеристика OLAP.

Information (Информации) - приложение должно иметь возможность обращаться к любой нужной информации, независимо от ее объема и места хранения.

Данные, применяемые для анализа, стали выделять в отдельные БД, которые стали называться хранилища данных (ХД, Data Warehouse). Концепция ХД – это концепция подготовки данных для последующего анализа. Предполагает:

1) Интеграцию и согласование данных из различных источников: OLTP-систем, информации из внутренних и внешних электронных архивов;

2) Разделение наборов данных OLTP и OLAP-систем.

OLAP-системы не заменяют собой OLTP-системы, а надстраиваются над ними, и используют транзакционные системы в качестве источников данных.

Схема функционирования СППР, основанной на концепции хранилища данных, приведена на рис.10.1.

Рисунок 10.1 – Схема функционирования системы

Исходные данные для анализа производятся системами операционной обработки, поступают из электронных архивов и от поставщиков информации, например, on-line информационных агентств. Эти источники слабо связаны между собой, поэтому и данные, которые они представляют, имеют разную структуру, форматы представления.

Необходимо произвести согласование данных из разных источников, чтобы ими было удобно оперировать при анализе. Устранить дублирование и некорректные значения. Подготовленные данные загружаются в хранилище. Пользователи – аналитики осуществляют доступ к нему через клиентские приложения.

В отличие от систем операционной обработки данных, в СППР, использующих концепцию ХД, критерии поиска и состав выдаваемой в виде отчета информации не фиксируется при ее разработке, пользователи оперируют в основном к заранее не регламентированным запросам.

Использование ХД в СППР преследует следующие цели:

1) Своевременное обеспечение аналитиков всей информацией, необходимой для выработки решений;

2) Создание единой модели данных организации;

3) Создание интегрированного источника данных, предоставляет удобный доступ к разнородной информации.

10.2 Свойства ХД:

1. Ориентация на предметную область. Хранилище должно разрабатываться с учетом специфики предметной области, а не приложений, оперирующих данными. Структура хранилища должна отражать представления аналитика об информации, с которой ему приходится работать. Например, если система операционной обработки поставщика товаров работает с понятиями „сделка”, „заявка”, то хранилище должно использовать понятия „клиенты”, „товары” и „производители”.

2. Интегрированность. Информация загружается в хранилище из приложений, созданных разными разработчиками. Необходимо объединить данные этих приложений, приведя их к единому синтаксическому и семантическому виду. Например, в таблицах БД полученных из разных источников могут встречаться атрибуты, которые по-разному представлены, но обозначают те же понятия. Например, месяц года может быть „январь” или, в другой таблице, „янв.” или „1”. В процессе загрузки в хранилище требуется преобразовывать эти атрибуты к единому представлению. Важно также провести проверку поступающих данных на целостность и непротиворечивость. Характерный для хранилища прием – хранение агрегированных данных. Аналитика редко интересует информация о конкретных днях и часах, ему более важны данные о месяцах, кварталах или даже годах. Чтобы при выполнении аналитических запросов избежать выполнения операций группирования, данные должны (группироваться) обобщаться (агрегироваться) при загрузке в хранилище. Объем накопленных данных должен быть достаточным для решения аналитических задач с требуемым качеством. Используемые ХД содержат информацию, накопленную за годы и даже десятилетия. Итак:

2.1 Преобразование данных к единому представлению.

2.2 Проверка на целостность и непротиворечивость.

2.3 Агрегирование данных.

3. Поддержка хронологии. Для выполнения большинства аналитических запросов необходим анализ тенденций развития явлений или характера изменений значений переменной во времени.

4. Неизменяемость данных. Данные после загрузки в ХД остаются неизменными, внесение каких либо изменений, кроме добавления записи, не предполагается. Важно использование надежного оборудования, которое обеспечивает защиту от сбоев. Не важно защита транзакций, блокировки процессов и т.д.

Дата добавления: 2014-01-04