Извлечение знаний Data mining

Data mining – „обнаружение знаний в БД” или „интеллектуальный анализ данных”. – Все это связано с развитием средств и методов обработки данных. В связи с внедрением компьютерных технологий на людей обрушились колоссальные потоки информационной руды в самых различных областях. Стало ясно, что без продуктивной переработки потоки сырых данных образуют никому не нужную свалку. Традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа данных, откровенно спасовала перед лицом возникших проблем. Главная причина – концепция усреднения по выборке, приводящая к операциям над фиктивными величинами (типа средней температуры больных по больнице). Методы математической статистики оказались полезными главным образом для проверки заранее сформулированных гипотез и грубого разведочного анализа, составляющего основу OLAP.

В основу современной технологии Data Mining положена концепция шаблонов – закономерностей, свойственных подвыборкам данных, которые могут быть компактно выражены в понятной человеку форме. Примеры формулировок задач при использовании методов OLAP и Data Mining:

OLAP	Data Mining
Каковы средние показатели травматизма для курящих и нет?	Встречаются ли точные шаблоны в описаниях людей, подверженных повышенному травматизму?
Каковы средние размеры телефонных счетов существующих клиентов в сравнении со счетами бывших клиентов (отказавшихся от услуг телефонной компании)?	Имеются ли характерные портреты клиентов, которые, по всей вероятности, собираются отказаться от услуг телефонной компании?
Какова средняя величина ежедневных покупок по украденной и не украденной кредитной карте?	Существуют ли стереотипные схемы покупок для случаев мошенничества с кредитными карточками?

Важное положение Data Mining – нетривиальность разыскиваемых шаблонов. Это означает, найденные шаблоны должны отражать неочевидные, неожиданные регулярности в данных, составляющие так называемые скрытые знания.

СППР – Data Mining – Экспертные системы

К обществу пришло понимание того, что сырые данные содержат глубинный пласт знаний, при грамотной распаковке которого могут быть обнаружены настоящие самородки.

Data Mining – это процесс обнаружения в сырых данных:

- ранее неизвестных;

- нетривиальных;

- практически полезных;

- доступных интерпретаций знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Рисунок 11.1 - Уровни знаний, извлекаемых из данных

Методы Data Mining заинтересовали в первую очередь коммерческие предприятия, которые развертывают проекты на основе хранилищ данных. Известны сообщения о экономическом эффекте в 10 раз превысившем первоначальные затраты, о проекте в $ 20 млн., который окупился всего за 4 месяца. Другой пример – годовая экономия в $700 тыс. за счет внедрения Data Mining в сети универсамов в Великобритании.

Бизнес – приложения Data Mining:

1. Розничная торговля. Т.к. собирается подробная информация о каждой отдельной покупке, то вот типичные задачи:

- Анализ покупательской корзины (анализ сходства) предназначен для выявления товаров, которые покупатели стремятся приобретать вместе. Это необходимо для улучшения рекламы, выработки стратегии создания запасов товаров и способов из раскладки в торговых залах.

- Исследование временных шаблонов помогает торговым предприятиям принимать решения в создании товарных запасов. Оно дает ответы на вопросы типа: «Если сегодня покупатель приобрел видеокамеру, то, через какое время он, вероятнее всего, купит новые батарейки и пленку?»

- Создание прогнозирующих моделей дает возможность торговым предприятиям узнавать характер потребностей различных категорий клиентов с определенным поведением, например, покупающих товары известных дизайнеров или посещающих распродажи. Эти знания нужны для разработки точно направленных, экономичных предприятий по продвижению товаров.

2. Банковское дело. Для решения следующих задач:

- выявление мошенничества с кредитными карточками. Путем анализа прошлых транзакций, которые вследствие оказались мошенническими, банк выявляет некоторые стереотипы такого мошенничества.

- Сегментация клиентов. Разбивая клиентов на различные категории, банки делают свою маркетинговую политику более целенаправленной и результативной, предполагая различные виды услуг разным группам клиентов.

- Прогнозирование изменений клиентуры. Data Mining помогает строить банкам прогнозные модели ценности своих клиентов и соответствующим образом обслуживать каждую категорию.

3. Страхование. Так как в течение ряда лет накапливаются обширные объемы данных, то Data Mining используется:

- Выявление мошенничества. Страховые компании могут снизить уровень мошенничества, отыскивая определенные стереотипы в заявлениях о выплате страхового возмещения, характеризующих взаимоотношения между юристами, врачами и заявителями.

- Анализ риска. Путем выявления сочетаний факторов, связанных с оплаченными заявлениями, страховщики могут уменьшить свои потери по обязательствам. Известен случай, когда в США крупная страховая компания обнаружила, что суммы, выплаченные по заявлениям людей, состоящих в браке, вдвое превышают суммы по заявлениям одиноких людей. Компания отреагировала на это новое знание пересмотром своей общей политики предоставления скидок семейным клиентам.

Выделяют 5 типов закономерностей, которые позволяют выявлять методы Data Mining:

- Ассоциация;

- Последовательность;

- Классификация;

- Кластеризация;

- Прогнозирование.

Ассоциация имеет место в том случае, если несколько событий связаны друг с другом. Например, исследование, проведенное в супермаркете, может показать, что 65 % купивших кукурузные чипсы берут также и «кока-колу», а при наличии скидки за такой комплект «колу» приобретают в 85 % случаев. Располагая сведениями о такой ассоциации менеджерам легко оценить, насколько действенна предоставляемая скидка.

Если существует цепочка связанных во времени событий, то говорят о последовательности.

11.3 Интеллектуальные анализ данных и прогнозирование в «1С:Предприятии 8.0»

Одна из главных тенденций на рынке учетно-управленческих систем — это постоянное повышение спроса на применение средств аналитической обработки данных, обеспечивающих принятие обоснованных руководящих решений. Однако сегодня заказчикам уже недостаточно использования традиционных инструментов, позволяющих создавать разнообразные отчеты, сводные таблицы и диаграммы на основе заранее определенных показателей и связей, анализируемых вручную. Предприятиям все чаще нужны качественно иные средства, позволяющие автоматически искать неочевидные правила и выявлять неизвестные закономерности, что дает возможность получать новые знания на основе накопленной компанией информации и принимать порой совсем нетривиальные решения для повышения эффективности бизнеса на основе методов интеллектуального анализа данных.

Дата добавления: 2014-01-04