Характеристика процесів і активностей дейтамайнінгу. Процеси дейтамайнінгу

Традиційно мали місце два типи статистичних аналізів: підтверджуючий (confirmatory analysis) і дослідницький аналіз (exploratory analysis). У підтверджуючому аналізі будь-хто має конкретну гіпотезу і в результаті аналізу або підтверджує, або спростовує її. Однак недоліком підтверджуючого аналізу є недостатня кількість гіпотез у аналітика. За дослідницького аналізу виявляють, підтверджуються чи спростовуються підхожі гіпотези. Тут система, а не користувач, бере ініціативу за аналізу даних.

Здебільшого термін "дейтамайнінг" використовується для описання автоматизованого процесу аналізу даних, в якому система сама бере ініціативу щодо генерування взірців, тобто дейтамайнінг належить до інструментальних засобів дослідницького аналізу.

Рис. 9.1. Типи процесів дейтамайнінгу

З погляду орієнтації на процес є три типи процесів дейтамайнінгу (рис. 9.1): відкриття (добування) (discovery); моделювання передбачень (predictive modeling); аналіз аномалій (forensic analysis).

Відкриття є процесом перегляду бази даних для знаходження невидимих взірців (pattern) без наперед визначеної ідеї або гіпотези взагалі про те, що вони можуть бути. Інакше кажучи, програма бере ініціативу без попередніх міркувань стосовно того, що взірці (шаблони), які цікавлять користувачів, мають насправді місце і можуть подаватися у формі доречних запитів. У великих базах даних є так багато інформаційних аспектів, про які користувач практично може ніколи й не думати і не робити правильних запитів стосовно відповідних їм взірців. Ключовим питанням тут може бути кількість взірців, які можуть бути виражені й відкриті та якість інформації, що добувається. Саме цим і визначається потужність засобів відкриття (discovery) інформації.

У разі моделювання передбачень добуваються взірці з бази даних для їх використання, щоб передбачити майбутнє. Моделювання передбачень дає змогу користувачеві створювати записи з деякими невідомими дослідницькими значеннями, і система визначає ці невідомі значення, які ґрунтуються на попередніх шаблонах, що відкриваються з бази даних. У той час як відкриття знаходить взірці в даних, за прогнозуючого моделювання взірці застосовуються для того, щоб підібрати значення для нових елементів даних, і в цьому полягає істотна відмінність між цими видами процесів дейтамайнінгу.

Аналіз аномалій (forensic analysis) є процесом застосування вибраних взірців (шаблонів) для виявлення аномалій або незвичайних елементів даних. Щоб виокремити незвичайні елементи, спершу потрібно знайти те, що є нормою, а вже потім виявляти за допомогою заданих порогових величин ті елементи, які відхиляються від звичайних. Зокрема, сюди відноситься виявлення девіації, тобто відхилення від правильного курсу.

Кожний із цих процесів може бути далі охарактеризований виділенням відповідних прийомів. Наприклад, є кілька методів відкриття взірців: правило "ЯКЩО..., ТО", асоціації, афінність (суміжність) тощо. У той час, коли правило "ЯКЩО..., ТО" для людини звичне, то асоціативні правила є новими. Вони стосуються групування елементів даних (наприклад, коли хтось купує один продукт, то за звичкою чи збігом обставин він може купити інший продукт у той самий час; такий процес, зазвичай, пов’язаний з аналізом ринкового кошика покупця). Потужність системи відкриття вимірюється кількістю типів і загальністю взірців, які можна знайти і виразити придатною для використання мовою.

Дата добавления: 2014-01-04