Средства закачки преобразования источников данных

Хранилища данных

ХД являются логически продолжением БД. ХД представляют собой логически интегрированную базу данных, обеспечивающую максимально быстрый и удобный доступ к информации, необходимой для анализа и поддержки принятия решений, а не автоматизацию повседневной деятельности предприятий, банков и т.д..

Основными источниками наполнения хранилища данных являются традиционные оперативные системы обработки данных и различные внешние источники, например, публичные отчеты предприятий, исторические архивы, результаты биржевых торгов, Интернет и т.п. (рис.5.2).

Рис.5.2.

Хранилища данных характеризуются следующими основными особенностями:

1. Ориентация на предметную область, то есть в хранилище помещается информация, полезная для работы систем поддержки принятия решений, и ее структура должна быть понятна пользователям.

2. Защищенность, предусматривающая неизменность и немодифицируемость данных, помещенных в хранилище, и доступность только в режиме чтения.

3. Поддержка хронологических данных, определяющая тот факт, что для анализа требуется информация, накопленная за длительный период времени.

4. Интеграция в едином хранилище ранее разъединенных данных, поступающих как из внутренних, так и внешних источников, а также их проверку, согласование и структурирование.

5. Агрегация, предусматривающая хранение не оперативных данных, а сортируемую, фильтруемую и определенным образом обработанную информацию (суммарную информацию).

6. Разделение наборов данных, используемых для оперативной обработки, и тех, которые применяются для решения аналитических задач.

Создание и развитие Хранилища данных требует следующих компонент программного обеспечения (ПО):

· СУБД Хранилища данных,

· средства закачки преобразования источников данных,

· средства закачки преобразования источников данных,

· средства проектирования хранилища,

· средства построения Витрин данных.

СУБД Хранилища данных должна быть ориентирована на особенности технологии ХД - работать с большими объемами данных, обеспечивать необходимую безопасность данных, позволять создавать очень сложные структуры данных (такие как многомерные базы данных), осуществлять быстрый многопользовательский доступ к данным.

В процессе погружения данные:

· Очищаются для устранения ненужной для анализа информации (адреса, почтовые индексы, идентификаторы записей и т.д.).

· Агрегируются (вычисляются суммарные, средние, минимальные, максимальные и другие статистические показатели).

· Преобразуются в единую структуру хранения из разных типов данных предметных приложений.

· При объединении данных из внутренних и внешних источников производится их преобразование в единый формат.

· Согласуются во времени, то есть приводятся в соответствие к одному моменту времени (например, к единому курсу рубля на текущий момент) для использования в сравнениях, трендах, прогнозах.

В результате создается репозиторий метаданных, то есть данные о данных. Метаданные играют роль справочников, содержащих сведения об источниках первичных данных, о методах загрузки информации из них, об алгоритмах обработки, которым были подвергнуты исходные данные, описание структуры этих данных и их взаимосвязей, периодичность их обновления и т.д.

Средства проектирования хранилища. Для быстрой реализации логической структуры данных необходимо иметь удобное интерактивное средство управления структурой ХД. Качество этого средства определяет скорость разработки и развития ХД, поэтому является очень важным фактором. Средство используется не только разработчиками, но и конечными пользователями (аналитиками) для построения своих структур данных в Витринах данных и должно иметь удобный и понятный интерфейс.

Средства построения Витрин данных. Одним из вариантов реализации на практике хранилища данных является построение витрин данных (Data Marts).

Витрины данных (Data Marts), как и хранилища, представляют собой структурированные информационные массивы, но отличие состоит в том, что витрины в еще большей степени являются предметно-ориентированными. Как правило, витрина содержит информацию, относящуюся к какому-либо опреде­ленному направлению деятельности организации. Поэтому информация в витрине данных хранится в специальном виде, наиболее подходящем для решения конкретных аналитических задач или обработки запросов определенной группы аналитиков или структурных подразделений.

Дата добавления: 2014-10-22