Коэффициенту конкордации. Оценка коэффициентов важности

Лекция 4. Оценка степени согласованности экспертов по

5) проверка значимости коэффициента конкордации, т.е. гипотезы о том, что эксперты проставляют свои ранги случайным образом и, следовательно, нет никакой согласованности в их мнениях. Идея проверки состоит в том, что при случайном присвоении рангов коэффициент конкордации будет принимать случайные значения, причем закон распределения может быть найден путем перебора всех возможных и равновероятных результатов ранжирования.

Рассмотрим статистику . При больших и (и ) статистика имеет распределение, близкое к - распределению с числом степеней свободы - 1.

Для проверки значимости коэффициента конкордации необходимо:

- рассчитать значение статистики ;

- задаться уровнем значимости ;

- в таблице - распределения найти критическое значение при - 1 степени свободы;

- сопоставить полученное значение статистики и : если > , то гипотеза о случайной простановке рангов отклоняется и коэффициент конкордации считается значимым;

- если < , то гипотеза о случайной простановке рангов считается не противоречащей опытным данным и коэффициент конкордации считается незначимым; В этом случае следует вернуться к организации опроса экспертов: изменить их состав, использовать процедуру с заочным обменом мнениями и т.д.

6) вычисление коэффициентов важности свойств можно осуществить различными способами. Наиболее простые из них основаны на том, что о важности свойств содержится информация в суммарных рангах . Действительно, чем выше роль того или иного свойства, тем большее число экспертов будут ставить его на первые места в ранжировках, влияя тем самым на суммарный ранг.

Расчет коэффициентов важности при этом осуществляется по формуле:

= ,

где - суммарный ранг - ой характеристики. В знаменателе стоит сумма всез суммарных рангов (сумма всех элементов таблицы ранжировок).

Метод парных сравнений

Помимо рассмотренной здесь процедуры, основанной на ранжировании экспертами исходной совокупности характеристик ваиантов выбора, при большом числе характеристик можно использовать процедуру, основанную на парных сравнениях характеристик. Каждый эксперт при этом заполняет таблицу (матрицу), каждая строка и каждый столбец которой соответствует одной из характеристик. На пересечении - ой строки и - го столбца эксперт ставит 1, если - ая характеристика представляется ему важнее, чем - ая. В противном случае ставится 0. На диагонали матрицы – прочерки. Размер матрицы (), где - число характеристик.

Таблица 4.1

Таблица парных сравнений

Характеристики			…
	-
		-
…	…	…	…	…
				-

Обработка мнений экспертов осуществляется суммированием матриц экспертов. При этом суммарная матрица Г имеет размерность (), а на пересечении - ой строки и - го столбца оказывается величина, равная числу экспертов, считающих - ую характеристику важнее - ой. Матрица Г имеет следующий вид

Г = .

Коэффициенты важности характеристик находят суммированием элементов строк матрицы Г (с последующим нормированием):

= .

При этом мерой важности выступает суммарное число предпочтений - ой характеристики, имеющее место во мнениях всех экспертов.

Для определения обобщенной оценки каждого объекта необходимо применить какое-либо среднее. Оценка отдельным экспертом относительной важности каждого из некоторой совокупности качеств осуществляется путем назначения экспертами либо рангов этим качествам, либо некоторой количественной оценки, например, по 10-бальной системе. В последнем случае количественные оценки можно при обработке проранжировать по убыванию и получить оценки в рангах. Применение в данном случае методов ранговой корреляции целесообразно в связи с тем, что они представляют собой весьма удобный и эффективный аппарат определения показателя обобщенного мнения и вместе с тем степени согласованности мнений экспертов.

Согласованное мнение группы экспертов о распределении качеств с точки зрения их значимости может быть определено путем суммирования оценок в рангах, полученных каждым качеством в отдельности. Распределение сумм рангов, полученное каждым качеством, и представляет собой согласованное мнение экспертов о распределении значимых качеств по их относительной важности.

Показатель обобщенного мнения экспертов по каждому качеству может быть определен в виде частоты максимально возможных оценок, полученных некоторым качеством.

Основными характеристиками при групповом экспертном оценивании являются следующие:

- обобщенное мнение группы экспертов,

- степень согласованности мнений экспертов,

- компетентность экспертов.

Дата добавления: 2014-01-06