Пошаговый дискриминантный анализ

Алгоритм выполнения дискриминантного анализа рассмотрен применительно к линейной дискриминантной функции вида. Его основные этапы.

1. Исходные данные представляются либо в табличной форме в виде q подмножеств (обучающих выборок) M_k и подмножества М ₀ объектов подлежащих дискриминации, либо сразу в виде матриц X ⁽¹⁾, X ⁽²⁾,..., X ^(q), размером (n_k на p):

Номер подмножества Mk (k = 1, 2,..., q)	Номер объекта, i (i = 1, 2,..., nk ^2)	Свойства (показатель), j (j = 1, 2,..., p)
х 1	х 2	…	х 0
Подмножество M 1 (k = 1)				…
			…
…	…	…	…	…
n 1			…
Подмножество M 2 (k = 2)				…
			…
…	…	…	…	…
n 2			…
…	…	…	…	…	…
Подмножество Mq (k = q)				…
			…
…	…	…	…	…
nq			…
Подмножество M 0, подлежащее дискриминации				…
			…
…	…	…	…	…
m			…

где X ^(k) - матрицы с обучающими признаками (k = 1, 2,..., q),

X ⁽⁰⁾ матрица новых m -объектов, подлежащих дискриминации (размером m на p),

р — количество свойств, которыми характеризуется каждый i -й объект.

Здесь должно выполняться условие: общее количество объектов N множества М должно быть равно сумме количества объектов m (в подмножестве M ₀), подлежащих дискриминации, и общего количества объектов в обучающих подмножествах:, где q - количество обучающих подмножеств (q ≥2). В реальной практике наиболее часто реализуется случай q =2, поэтому и алгоритм дискриминантного анализа приведен для данного варианта.

2. Определяются элементы векторов средних значений по каждому j -му признаку для i объектов внутри k -го подмножества (k = 1, 2):

Результаты расчета представляются в виде векторов столбцов:

3. Для каждого обучающего подмножества рассчитываются ковариационные матрицы S^(k) (размером p × p):

4. Рассчитывается объединенная ковариационная матрица по формуле:

5. Рассчитывается матрица обратная к объединенной ковариационной матрице:

где — определитель матрицы, (причем),

— присоединенная матрица, элементы которой являются алгебраическими дополнениями элементов матрицы.

6. Рассчитывается вектор-столбец дискриминантных множителей с учетом всех элементов обучающих подмножеств по формуле:

Данная расчетная формула получена с помощью метода наименьших квадратов из условия обеспечения наибольшего различия между дискриминантными функциями. Наилучшее разделение двух обучающих подмножеств обеспечивается сочетанием минимальной внутригрупповой вариации и максимальной межгрупповой вариации.

7. По каждому i -му объекту (i = 1, 2,..., N) множества М определяется соответствующее значение дискриминантной функции:

8. По совокупности найденных значений F^(k) рассчитываются средние значения для каждого подмножества M_k:

9. Определяется общее среднее (константа дискриминации) для дискриминантных функций

10. Выполняется распределение (дискриминация) объектов подмножества М ₀ подлежащих дискриминации по обучающим выборкам М ₁ и М ₂. С этой целью рассчитанные и п. 7 по каждому i -му объекту значения дискриминантных функций

сравниваются с величиной общего среднего. На основе сравнения данный объект относят к одному из обучающих подмножеств.

Если >, то i -й объект подмножества М ₀ относят к подмножеству М ₁, при > 0 и к подмножеству М ₂ при < 0. Если же <, то заданный объект относят к подмножеству М ₁, при < 0 и к подмножеству М ₂ в противном случае.

11. Далее делается оценка качества распределения новых объектов, для чего оценивается вклад переменных в дискриминантную функцию.

Влияние признаков на значение дискриминантной функции и результаты классификации может оцениваться по дискриминантным множителям (коэффициентам дискриминации), по дискриминантным нагрузкам признаков или по дискриминантной матрице.

Дискриминантные множители зависят от масштабов единиц измерения признаков, поэтому они не всегда удобны для оценки.

Дискриминантные нагрузки более надежны в оценке признаков, они вычисляются как парные линейные коэффициенты корреляции между рассчитанными уровнями дискриминантной функции F и признаками, взятыми для ее построения.

Дискриминантная матрица характеризует меру соответствия результатов классификации фактическому распределению объектов по подмножествам и используется для оценки качества анализа. В этом случае дискриминантная функция F формируется по данным объектов (с измеренными p признаками) обучающих подмножеств, а затем проверяется качество этой функции путем сопоставления фактической классовой принадлежности объектов с той, что получена в результате формальной дискриминации.

Задача.

Имеются данные по двум группам промышленных предприятий отрасли:

Х ₁ - среднегодовая стоимость основных производственных фондов, млн. д.ед.;

Х ₂ — среднесписочная численность персонала, тыс. чел.;

Х ₃ — балансовая прибыль млн. д.ед.

Исходные данные представляются в табличной форме

Номер группы Mk (k = 1, 2)	Номер предприятия, i (i = 1, 2,..., nk)	Свойства (показатель), j (j = 1, 2,..., p)
Х 1	Х 2	Х 3
Группа 1, M 1 (k = 1)		224,228	17,115	22,981
	151,827	14,904	21,481
	147,313	13,627	28,669
	152,253	10,545	10,199
Группа 2, M 2 (k = 2)		46,757	4,428	11,124
	29,033	5,51	6,091
	52,134	4,214	11,842
	37,05	5,527	11,873
	63,979	4,211	12,860
Группа предприятий M 0, подлежащих дискриминации		55,451	9,592	12,840
	78,575	11,727	15,535
	98,353	17,572	20,458

Необходимо провести классификацию (дискриминацию) трех новых предприятий, образующих группу М ₀ с известными значениями исходных переменных.

Решение:

1. Значения исходных переменных для обучающих подмножеств M ₁ и M ₂ (групп предприятий) записываются в виде матриц X ⁽¹⁾ и X ⁽²⁾

и для подмножества M ₀ группы предприятий, подлежащих классификации в виде матрицы X ⁽⁰⁾

Общее количество предприятий, составляющих множество М, будет равно N = 3+4+5 = 12 ед.

2. Определяются элементы векторов средних значений по j признакам для i -х объектов по каждой k -й выборке (k = 1, 2), которые представляются в виде двух векторов (по количеству обучающих выборок):

3. Для каждого обучающего подмножества M ₁ и M ₂ рассчитываются ковариационные матрицы S_k (размером р × р):

4. Рассчитывается объединенная ковариационная матрица:

5. Рассчитывается матрица обратная к объединенной ковариационной матрице:

6. Рассчитываются дискриминантные множители (коэффициенты дискриминантной функции) по всем элементам обучающих подмножеств:

7. Для каждого i -го объекта k -го подмножества М определяется значение дискриминантной функции:

8. По совокупности найденных значений F^(k) рассчитываются средние значения для каждого подмножества M_k:

9. Определяется общее среднее (константа дискриминации) для дискриминантных функций:

10. Выполняется распределение объектов подмножества М ₀ по обучающим подмножествам М ₁ и М ₂, для чего по каждому объекту (i = 1, 2, 3) рассчитываются Дискриминантные функции

и затем рассчитанные значения дискриминантных функций F ⁽⁰⁾ сравниваются с общей средней = 28,3556.

Поскольку >, то i -й объект подмножества М ₀ относят к подмножеству М ₁ при > 0 и к подмножеству М ₂ при < 0. С учетом этого в данном примере предприятия 2 и 3 подмножества М ₀ относятся к М ₁, а предприятие 1 — к М ₂.

Если бы выполнялось условие <, то объекты М ₀ относились к подмножеству М ₁, при < 0 и к подмножеству М ₂ в противном случае.

11. Оценку качества распределения новых объектов выполним путем сравнения с константой дискриминации значений дискриминантных функций обучающих подмножеств М ₁ и М ₂. Поскольку для всех найденных значений выполняются неравенства, и, то можно предположить о правильном распределении объектов и уже существующих двух классах и верно выполненной классификации объектов подмножества М ₀.

Вопросы и задания

1. Сформулируйте постановку задачи дискриминантного анализа.

2. Какие факторные и результативные переменные могут принимать участие в дискриминантном анализе?

3. Сформулируйте математическую постановку задачи дискриминантного анализа.

4. Какой критерий используется для отбора дискриминирующих переменных?

5. Для каких целей может использоваться дискриминантный анализ в задачах государственного управления и менеджменте?

Дата добавления: 2014-10-22