Стандарты интеллектуального анализа данных (методология semma, стандарты CWM, crisp, PMML и ДР. )

Стандарты, описывающие методологию Data Mining - рассматривают организацию процесса Data Mining и разработку Data Mining- систем.

CRISP-DM - стандартный межотраслевой процесс Data Mining, является наиболее популярной и распространенной методологией. В соответствии со стандартом CRISP, Data Mining является непрерывным процессом со многими циклами и обратными связями.

Data Mining по стандарту CRISP-DM включает следующие фазы:

1. Осмысление бизнеса (Business understanding).

2. Осмысление данных (Data understanding).

3. Подготовка данных (Data preparation).

4. Моделирование (Modeling).

5. Оценка результатов (Evaluation).

6. Внедрение (Deployment).

К этому набору фаз иногда добавляют седьмой шаг - Контроль, он заканчивает круг.

При помощи методологии CRISP-DM Data Mining превращается в бизнес-процесс, в ходе которого технология Data Mining фокусируется на решении конкретных проблем бизнеса.

Методология CRISP-DM описывается в терминах иерархического моделирования

процесса, который состоит из набора задач, описанных четырьмя уровнями

обобщения (от общих к специфическим): фазы, общие задачи, специализированные задачи и запросы.

SEMMA методология реализована в среде SAS Data Mining Solution (SAS). Ее аббревиатура образована от слов "Отбор данных", т.е. создание выборки, "Исследование отношений в данных", "Модификация данных", "Моделирование взаимозависимостей", Оценка полученных моделей и результатов".

Подход SEMMA подразумевает, что все процессы выполняются в рамках гибкой

оболочки, поддерживающей выполнение всех необходимых работ по обработке и анализу данных. Подход SEMMA сочетает структурированность процесса и логическую организацию инструментальных средств, поддерживающих выполнение каждого из шагов. Благодаря диаграммам процессов обработки данных, подход SEMMA упрощает применение методов статистического исследования и визуализации, позволяет выбирать и преобразовывать наиболее значимые переменные, создавать модели с этими переменными, чтобы предсказать результаты, подтвердить точность модели и подготовить модель к развертыванию.

Эта методология не навязывает каких-либо жестких правил. Разработчик может располагать научными методами построения концепции проекта, его реализации, а также оценки результатов проектирования.

Как уже отмечалось, описанные стандарты являются методологиями Data Mining, т.е. рассматривают организацию процесса и разработку систем Data Mining. Помимо этой группы, сущ-т ряд стандартов, цель которых - согласовать

достижения в Data Mining, упростить управление моделированием процессов и

дальнейшее использование созданных моделей. Эти стандарты условно можно поделить

на две категории:

1. Стандарты, относящиеся к выработке единого соглашения по хранению и передаче

моделей Data Mining.

2. Стандарты, относящиеся к унификации интерфейсов.

Дата добавления: 2015-03-31