Интеллектуальный анализ данных. Управление знаниями

Информационная составляющая играет важнейшую роль в эффективном управлении бизнесом, поэтому способность предприятий обеспечивать своих сотрудников всем необходимым для принятия взвешенных решений имеет огромное значение. С середины 90-х годов прошлого века стремительно растет интерес компаний к программным продуктам, которые позволяют аналитикам работать с большими объемами данных, накопленными в ERP, CRM системах и хранилищах данных, и извлекать из них полезную информацию. Следствием этого стало рождение новых информационных технологий и инструментов, обеспечивающих безопасный доступ к источникам корпоративных данных и обладающих развитыми возможностями консолидации, анализа, представления данных и распространения готовых аналитических документов внутри организации и за ее пределами: витрин данных, обработки произвольных запросов (Ad-hoc query), выпуска отчетов (Reporting), инструментов OLAP (On-Line Analytical Processing), интеллектуального анализа данных (Data Mining), поиска знаний в БД (KDD – Knowledge Discovery in Databases) и т.д.

Под «анализом данных» понимают действия, направленные на извлечение из них информации об исследуемом объекте и на получение по имеющимся данным новых данных.

Интеллектуальный анализ данных (ИАД) – общий термин для обозначения анализа данных с активным использованием математических методов и алгоритмов (методы оптимизации, генетические алгоритмы, распознавание образов, статистические методы, Data Mining и т.д.), использующих результаты применения методов визуального представления данных.

В общем случае процесс ИАД состоит из трех стадий:

1) выявление закономерностей (свободный поиск);

2) использование выявленных закономерностей для предсказания неизвестных значений (прогнозирование);

3) анализ исключений для выявления и толкования аномалий в найденных закономерностях.

Иногда выделяют промежуточную стадию проверки достоверности найденных закономерностей (стадия валидации) между их нахождением и использованием.

Все методы ИАД по принципу работы с исходными данными подразделяются на две группы:

Методы рассуждений на основе анализа прецедентов – исходные данные могут храниться в явном детализированном виде и непосредственно использоваться для прогнозирования и/или анализа исключений. Недостатком этой группы методов является сложность их использования на больших объемах данных.

Методы выявления и использования формализованных закономерностей, требующие извлечения информации из первичных данных и преобразования ее в некоторые формальные конструкции, вид которых зависит от конкретного метода.

Data Mining (DM)– это технология обнаружения в «сырых» данных ранее неизвестных нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Алгоритмы, используемые в Data Mining, требуют большого количества вычислений, что ранее являлось сдерживающим фактором широкого практического применения этих методов, однако рост производительности современных процессоров снял остроту этой проблемы.

Задачи, решаемые методами DM:

1. Классификация – отнесение объектов (наблюдений, событий) к одному из заранее известных классов.

2. Прогнозирование.

3. Кластеризация – группировка объектов на основе данных, описывающих сущность этих объектов. Объекты внутри кластера должны обладать общими чертами и отличаться от объектов, вошедших в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация.

4. Ассоциация – выявление закономерностей между связанными событиями.

5. Последовательные шаблоны – установление закономерностей между связанными во времени событиями.

6. Анализ отклонений – выявление наиболее нехарактерных шаблонов.

Решение большинства задач бизнес-анализа сводится к той или иной задаче Data Mining. Например, оценка рисков – решение задачи классификации, сегментация рынка – кластеризации, стимулирование спроса – ассоциации.

Технология Data Mining развивалась и развивается на стыке статистики, теории информации, машинного обучения, теории баз данных. Наибольшее распространение получили следующие методы Data Mining: нейронные сети, деревья решений, алгоритмы кластеризации, алгоритмы обнаружения ассоциативных связей между событиями и т.д.

Деревья решений представляют собой иерархическую древовидную структуру классифицирующих правил типа «если-то». Для отнесения некоторого объекта или ситуации к какому-либо классу следует ответить на вопросы, имеющие форму «значение параметра А больше Х», и расположенные в узлах дерева. При положительном ответе осуществляется переход к правому узлу следующего уровня дерева, отрицательном – к левому узлу

Если построенное дерево состоит из неоправданно большого числа ветвей, то оно не будет обеспечивать получение статистически обоснованного ответа. Кроме того, деревья решений выдают полезные результаты только в случае независимости признаков.

В настоящее время деревья решений применяются при решении следующих задач:

описание данных, т.к. они позволяют хранить информацию о данных в компактной форме;

классификация, т.е. отнесение объектов к одному из заранее известных классов;

регрессия, т.е. определение зависимости целевой переменной, принимающей непрерывные значения, от независимых (входных) переменных.

Главной проблемой логических методов обнаружения закономерностей является проблема перебора вариантов за приемлемое время. Известные методы либо искусственно ограничивают такой перебор (алгоритмы КОРА, WizWhy), либо строят деревья решений (алгоритмы CART, CHAID, ID3, See5, Sipina и др.), имеющие принципиальные ограничения эффективности поиска правил «если-то».

Программное обеспечение для реализации технологий Data Mining: Poly Analyst, Scenario, 4 Thought, MineSet.

Knowledge Discovery in Databases (KDD) следующих этапов:

Подготовка исходного набора данных – создание набора данных из различных источников, для чего должен обеспечиваться доступ к источникам данных, в том числе, к хранилищам данных.

Предобработка данных – удаление пропусков, искажений, аномальных значений и т.д., дополнение данных некоторой априорной информацией. Данные должны быть качественны и корректны с точки зрения используемого метода DM.

Трансформация, нормализация данных – приведение информации к пригодному для последующего анализа виду.

Data Mining – применение различных алгоритмов нахождения знаний.

Постобработка данных – интерпретация результатов и применение полученных знаний в бизнес-приложениях.

Knowledge Discovery in Databases определяет последовательность действий, необходимую для получения знаний, а не набор методов обработки или алгоритмов анализа.

Для того чтобы существующие хранилища данных способствовали принятию управленческих решений, информация должна быть представлена аналитику в нужной форме, то есть он должен иметь развитые инструменты доступа к данным хранилища и их обработки.

Статические информационно-аналитические системы, создаваемые для непосредственного использования лицами, принимающими решения, называются в литературе информационными системами руководителя (ИСР), или Executive Information Systems (EIS). Они содержат в себе предопределенные множества запросов, достаточны повседневного обзора. Однако, они неспособны обеспечить ответы на все вопросы, которые могут возникнуть при принятии решений. Результатом работы такой системы, как правило, являются многостраничные отчеты, после тщательного изучения которых у аналитика появляется новая серия вопросов.

Динамические системы поддержки принятия решений (СППР) ориентированы на обработку нерегламентированных (ad hoc) запросов аналитиков к данным. Работа аналитиков с этими системами заключается в интерактивном формировании запросов и изучения их результатов.

Поддержка принятия управленческих решений на основе накопленных данных может выполняться в следующих областях:

Детализированные данные – поиск данных;

Агрегированные показатели – формирование комплексного взгляда на собранную в хранилище данных информацию, ее обобщение и агрегация, гиперкубическое представление и многомерный анализ;

Закономерности – интеллектуальная обработка методами интеллектуального анализа данных, главными задачами которых являются поиск функциональных и логических закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/или прогнозируют развитие процессов.

Эволюцию BI-систем можно условно разделить на 3 этапа: системы сбора информации и подготовки регламентированной отчетности (до 90-х годов прошлого столетия), инструменты многомерного анализа на базе технологии оперативной аналитической обработки (OLAP) и создания нерегламентированной отчетности (до 2005 г.), BI-системы с акцентом на развитие прикладных способов аналитики и поиск скрытой информации.

BI-инструменты включают корпоративные BI-наборы (Enterprise BI Suites, EBIS), предназначенные для генерации запросов и отчетов, и BI-платформы, представляющие собой набор инструментов для создания, внедрения, поддержки и сопровождения BI-приложений. BI-приложения содержат встроенные BI-инструменты (OLAP, генераторы запросов и отчетов, средства моделирования, статистического анализа, визуализации и Data Mining).

По оценкам агентства IDC рынок Business Intelligenceсостоит из 5 секторов:

1. OLAP-продукты;

2. Инструменты добычи данных;

3. Средства построения Хранилищ и Витрин данных (Data Warehousing);

4. Управленческие информационные системы и приложения;

5. Инструменты конечного пользователя для выполнения запросов и построения отчетов.

Классификация BI-систем базируется на методе функциональных задач, где программные продукты каждого класса выполняют определенный набор функций или операций с использованием специальных технологий (приложение А). Как правило, функции BI включают поддержку принятия решений, запросы и отчетность, аналитическую обработку online, статистический анализ, прогнозирование и количественный анализ.

В настоящее время среди лидеров корпоративных BI-платформ можно выделить MicroStrategy, Business Objects, Cognos, Hyperion Solutions, Microsoft, Oracle, SAP, SAS Institute и другие (в приложении Б приведен сравнительный анализ некоторых функциональных возможностей BI-систем).

В настоящее время намечается интеграция BI-поставщиков и лидеров ERP (Oracle-Hyperion, SAP-Business Objects-Cryslal), что говорит о растущем потенциале и адекватности BI-систем. Использование BI-систем позволит значительно снизить стоимость сопровождения и настройки на интеграцию с приложениями, подбор сценариев и обучение пользователей. BI-возможности и преимущества SAP обеспечивают использование качественных и количественных данных при выборе варианта решения, комбинацию внешних данных и совместных сценариев, что представляет собой новое поколение средств управления предприятием и бизнес-средой; бизнес-аналитика дает возможность оптимизировать оперативную производительность, прогнозирование и бизнес-планирование.

Желание заказчиков отслеживать и финансовые, и операционные показатели требует, чтобы BI-системы могли одновременно обращаться к базам данных автоматизированных систем, отдельных бэк-офисных модулей, CRM-приложений и т.д. Обработка гетерогенных источников данных не возможна без применения сложных технологий интеграции на основе сервисно-ориентированной архитектуры.

Сектор BI-систем на белорусском рынке представлен слабо. В частности, EPAM представляет Hyperion® System™ 9, которая объединяет платформу Business Intelligence с финансовыми приложениями в одну модульную систему, которая легко адаптируется под конкретные требования бизнеса. Комплекс Hyperion® System1 M 9 внедряется на БМЗ и в концерне «Белнефтехим».

Фирма ТопСофт представляет модуль Галактика Business Intelligence – комплекс приложений для поддержки принятия решений в сбытовой деятельности. На данный момент Галактика ВI-Сбыт внедрена в РБ в компаниях «British-American Tobacco» и «МАВ» (производство красок).

Однако потребности белорусского рынка в BI-системах растут, основными потенциальными потребителями BI-систем являются телекоммуникационные компании, которые испытывают потребность в глубоком анализе базы клиентов, для них предлагаются пакеты Oracle Marketing analyst из Oracle BI Suite; банки, нуждающиеся в средствах аналитики услуг по кредитованию предприятий и частных лиц, могут использовать BI-системы собственной разработки или готовые специализированные приложения; промышленные предприятия и сфера торговли – аналитические программные продукты необходимы для построения управленческой отчетности на системах хранения и консолидации данных, например Cognos BI, Business Object; государственные управленческие структуры, крупные компании и холдинги, требующие полнофункциональных решений ВI, для них подходят Cognos, Oracle, Business Objects, Microsoft, интегрированные с системами планирования и бюджетирования; отрасли энергетики, нефтехимии – требуются BI-системы для повышения эффективности системы управления, такие решения реализованы в системах сбалансированных показателей (BSC) и поддерживаются базовыми модулями SAP ERP.

Потребность в системах искусственного интеллекта возникает по мере достижения предприятием достаточно высокой культуры управления.

Дата добавления: 2014-11-20