Алгоритм дискриминантного анализа

Предположения и ограничения

Дискриминантный анализ «работает» при выполнении ряда предположений.

Предположение о том, что наблюдаемые величины – измеряемые характеристики объекта – имеют нормальное распределение. Это предположение следует проверять. Следует заметить, что умеренные отклонения от этого предположения не являются фатальными.

Предположение об однородности дисперсий наблюдаемых переменных в разных классах (отличие между классами имеется только в средних). Умеренные отклонения от этого предположения также допустимы.

Методы, реализуемые в практических расчетах, являются линейными. Функции классификации и дискриминантные функции являются линейными комбинациями наблюдаемых величин.

Необхлдимо сделать важное замечание о проверке предположений анализа. Дискриминантный анализ может быть проведен и когда основные предположения не выполняются (предположение о нормальности и однородности дисперсий). Задача состоит в интерпретации результатов. В конечном счете, наиболее важным критерием правильности построенного классификатора является практика. И если окажется, что в результате построен классификатор, «работающий» на практике, то это будет достижением.

Решение задач дискриминации (дискриминантный анализ) состоит в разбиении всего выборочного пространства (множества реализации всех рассматриваемых многомерных случайных величин) на некоторое число областей.

Пусть имеются две генеральные совокупности X и Y, имеющие многомерный (трехмерный) нормальный закон распределения с неизвестными, но равными ковариационными матрицами.

Из этих совокупностей взяты обучающие выборки объемами n₁ и n₂ соответственно:

; (16.1)

Целью дискриминантного анализа в этом случае является отнесение нового наблюдения (строки) из матрицы:

(16.2)

либо к X, либо к Y.

Для решения задачи по обучающим выборкам проводятся оценки векторов средних и ковариационных матриц

; (16.3)

Затем определяется граница дискриминации – константа С.

Оценку дискриминантной функции U_i для i –й строки матрицы Z, которая характеризует i -e наблюдение, подлежащее дискриминации, получается из уравнения:

(16.4)

Если U_i ≥ C, то i –e наблюдение следует отнести к совокупности X, если же U_i < C, то i –e наблюдение относится к совокупности Y.

Дискриминантный анализ допускает наличие более двух обучающих выборок, однако в этом случае задача существенно усложняется и не всегда приводит к однозначной дискриминации, т.е. не все объекты удается отнести к какому-либо классу.

Дата добавления: 2014-11-29