Технологии, используемые в Data Mining и типы закономерностей

Применение DM - Data Mining

Следует отметить, что применение средств DM не исключает использования статистических инструментов и OLAP-средств, поскольку результаты обработки данных с помощью последних, как правило, способствуют лучшему пониманию характера закономерностей, которые следует искать.

Применение DM оправданно при наличии достаточно большого количества данных, в идеале — содержащихся в корректно спроектированном ХД (собственно, сами ХД обычно создаются для решения задач анализа и прогнозирования, связанных с поддержкой принятия решений). Данные в хранилище представляют собой пополняемый набор, единый для всего предприятия и позволяющий восстановить картину его деятельности на любой момент времени, а структура данных хранилища проектируется таким образом, чтобы выполнение запросов к нему осуществлялось максимально эффективно. Впрочем, существуют средства DM, способные выполнять поиск закономерностей, корреляций и тенденций не только в хранилищах данных, но и в OLAP-кубах, то есть в наборах предварительно обработанных статистических данных.

Эксперты считают, что в ближайшее десятилетие DM станет одним из перспективных направлений разработки ПО. За счет выявления содержательной структуры в собранной информации и ее анализа в режиме реального времени данная технология станет ключевым методом разработки «индивидуальной Сети», приспособленной под конкретные нужды каждого пользователя.

Методы DM по применяемому типу анализа можно подразделить на две группы. Группы методов DM - Data Mining

Cегментация (обнаружение)

Подразумевает анализ существующих данных с целью обнаружения некоторых групп. Основана только на параметрах клиентов, алгоритмы кластеризации позволяют выявить гомогенные группы или типы клиентов. Для этих групп можно определить присущий им тип клиентов. В результате, удается лучше оценить свою клиентскую базу и планировать более эффективные маркетинговые мероприятия.

Прогнозирование

Прогнозирование требует некоторой выборки данных для того отношения, которое нужно прогнозировать или моделировать. К наиболее распространенным методам моделирования относятся регрессия, нейронные сети и деревья решений. Например, используя демографические показатели и покупательские характеристики за прошлые периоды, модель может сгенерировать некоторый балл для каждого потенциального клиента. Этот балл покажет, какова вероятность того, что данный заказчик вновь сделает покупку. Такие баллы используются для ранжирования клиентов при осуществлении целевых маркетинговых программ. Кроме того, можно выявить повторяющиеся и разовые покупки или предсказать отказ прежних клиентов от услуг. Анализ чувствительности позволяет выявить те характеристики клиентов, которые в наибольшей степени влияют на прогнозируемый фактор. Инструменты DM можно классифицировать по применяемым технологиям. Классификация DM - Data Mining - по применяемым технологиям:

Визуализация

(Визуальное представление информации). Качество визуализации определяется возможностями графического отображения значений данных. Варьирование графического представления путем изменения цветов, форм и других элементов упрощает выявление скрытых зависимостей. Визуализация используется для поиска исключений, общих тенденций и зависимостей и помогает в извлечении данных на начальном этапе проекта.

Машинное обучение

Эффективность методов машинного обучения в основном определяется их способностью исследовать большее количество взаимосвязей данных, чем может человек. Машинное обучение используется позднее для поиска зависимостей в уже отлаженном проекте. Машинное обучение предполагает использование различных методов, например:

Деревьев решений

Деревья решений предназначены для классификации данных, они используют весовые коэффициенты для распределения элементов данных на всё более и более мелкие группы;

Ассоциативных правил

Метод ассоциативных правил классифицирует данные на основе набора правил, подобных правилам в экспертных системах. Эти правила можно генерировать, используя процесс поиска и проверки комбинаций правил, или извлекать правила из деревьев решений;

Генетических алгоритмов
Нейронных сетей

Знания представлены в виде связей, соединяющих набор узлов. Сила связей определяет зависимости между факторами данных.