Data Warehousing

Для решения этих проблем в последние годы сформировался подход, основанный на переработке первичных данных и помещении их в отдельную базу данных. Этот подход получил название Data Warehousing (еще одно название – управление знаниями – Knowledge Management), что обычно переводится как хранилище данных или технология построения хранилищ данных.

Идея, лежащая в основе Data Warehousing, состоит в том, что проводить оперативный анализ непосредственно на базе OLTP-систем неэффективно и потому нежелательно. Вместо этого необходимые данные извлекаются из нескольких OLTP-систем, преобразуются, и затем помещаются в один источник данных - Data Warehouse (хранилище данных). Этот процесс называется погружением данных.

В процессе погружения данные:

- очищаются(устраняется ненужная или служебная информация);

- агрегируются(вычисляются суммы, средние);

- трансформируются(происходит преобразование типов данных, реорганизация структур хранения);

-объединяются (из различных источников);

- синхронизируются (приводятся к одному моменту времени).

В результате такой переработки данных они могут быть гораздо более успешно использованы для построения систем поддержки принятия решений(DSS – Decision Support Systems) и систем оперативного анализа (OLAP – Online Analysis Processing).

Типичная Data Warehousing состоит из базы данных, средств погружения данных и хранилища метаданных.

База данных хранилища обычно организована на платформе достаточно мощной СУБД. Поскольку обычные размеры хранилища достигают сотен гигабайт, используемая СУБД должна поддерживать технологию VLDB – очень больших баз данных (Very Large Database). Для организации базы данных хранилища традиционно используются продукты IBM, Microsoft, Oracle, Terradata и аналогичные.

Средства погружения данных включают в себя средства очищения, преобразования, синхронизации и агрегирования данных. Именно эти средства ответственны за трансформацию данных, хранящихся в OLTP системах в целостную и взаимосвязанную информацию, а также сохранение этой информации в хранилище.

Средства погружения данных должны быть не только надежны и производительны, они должны обладать известной гибкостью, предоставляя возможность конфигурирования и программирования с использованием языка сценариев трансформации. Еще одно существенное требование к этим средствам - возможность доступа к широкому спектру источников данных, что обычно обеспечивается за счет использования универсального интерфейса доступа к данным типа ODBC, OLE и др. Ведущие фирмы только недавно начали выпускать продукты, обладающие описанной функциональностью, поэтому на протяжении многих лет приходилось либо использовать собственные решения, ориентированные на конкретную систему, либо продукты небольших фирм типа Prism Solutions, ETI, Carleton и аналогичные. Из продуктов крупных фирм, выпущенных в недавнем времени, можно назвать Visual Warehouse от IBM и Data Transformation Services от Microsoft.

Хранилище метаданных – это “данные о данных”, которые описывают информацию, представленную в хранилище. Эта информация необходима как для поддержания целостности хранилища, так и для хранения информации о типичных запросах, группах пользователей и т.д. Условно все метаданные можно разделить на две группы:

а) технические метаданные, содержащие информацию о хранилище, обычно используемую его создателями или администраторами. Сюда, например, входит информация об источниках данных, сценариях погружения, процедурах поддержки целостности хранилища, информация о правах доступа и т.д.

б) аналитические метаданные, содержащие информацию, которой пользуются аналитики, работающие с хранилищем. Сюда, например, могут входить типичные запросы к хранилищу, форматы представления данных, ссылки на Web-страницы и т.д.

Хранилища данных могут содержать в себе очень много информации, в результате чего запросы к такому хранилищу будут выполняться недопустимо медленно. Во избежание этого дополнительные к основному небольшие хранилища данных – киоски данных (Data marts). Киоск данных представляет собой небольшое хранилище с несколько упрощенной архитектурой, связанное с основным хранилищем и предназначенное для хранения небольшого подмножества данных основного хранилища. Например, основное хранилище может содержать информацию о деятельности организации в целом, а киоск – лишь о деятельности одного отдела.

Дата добавления: 2014-12-16