Экспертные оценки качества четырех вузов Подмосковья

Эксперты	Вузы
А	Б	В	Г
Всего
Средние	77,50	66,67	91,00	79,33

В табл. 13 приведены суммарные баллы, выставленные 6-ю экспертами, оценившие качество деятельности 4-х вузов Подмосковья.

Таблица 14

Итоговая таблица дисперсионного анализа по ранжированию вузов

Однофакторный дисперсионный анализ
ИТОГИ
Группы	Счет	Сумма	Среднее	Дисперсия
А			77,5	21,5
Б			66,6667	23,46667
В				33,2
Г			79,3333	23,46667
Дисперсионный анализ
Источник вариации	SS	df	MS	F	P-Знач.	F кр.
Между группами	1787,46		595,82	23,45	9,34E-07	3,098
Внутри групп	508,167		25,41
Итого	2295,62

Итоговые результаты экспертной оценки качества деятельности вузов, полученные на основе методологии дисперсионного анализа, представлены в табл. 14. В связи с тем, что расчетное F =23,45 значительно превышает критическое значение Fкр. = 3,098, есть веские основания утверждать – по результатам экспертной оценки качества деятельности 4-х вузов выявлены существенные различия.

Опираясь на методологии дисперсионного анализа и критерия c², самостоятельно проведите ранжирование вузов по качеству их деятельности.

Однако при экспертной оценки, прежде чем проводить ранжировать вузов, необходимо вначале определить степень согласованности мнений экспертов. Для проведения данной процедуры можно также применить однофакторный дисперсионный анализ. В данном случае анализируют статистическую существенность различий данных, представленных в различных строках (а не столбцах) таблицы, содержащих оценки экспертов.

Порядок выполнения операций в Excel, которые необходимо выполнить для оценки согласованности экспертных оценок, приведенных в табл. 13, иллюстрированы содержанием нижеприведенной таблицы.

Результаты дисперсионного анализа по оценке согласованности экспертов, приведенные в табл. 15, свидетельствуют о том, что мнения экспертов о качестве функционирования рассматриваемых вузов, на уровне доверительной вероятности равной 0,95, статистически не различаются. Все эксперты ранжируют вузы по качеству в одной и той же последовательности.

Таблица 15

Итоговая таблица дисперсионного анализа по оценке согласованности экспертов

Однофакторный дисперсионный анализ
ИТОГИ
Группы	Счет	Сумма	Среднее	Дисперсия
Строка 1			71,75	76,25
Строка 2				36,67
Строка 3			78,25	90,92
Строка 4			78,75	184,92
Строка 5			81,5
Строка 6			82,5
Дисперсионный анализ
Источник вариации	SS	df	MS	F	P	F кр.
Между группами	283,37		56,67	0,51	0,77	2,77
Внутри групп	2012,25		111,79
Итого	2295,62

Однако при оценке согласованности мнений экспертов нужно иметь в виду, что, несмотря на единые, заранее установленные требования к оценке качества деятельности вузов, каждому из экспертов свойственна своя индивидуальная «шкала» ранжирования (измерения) качества. Баллы, выставляемые различными экспертами одному и тому же вузу, могут существенно различаться между собой, но при этом у всех экспертов порядок ранжирования систем качества вузов оказывается одинаковым. В этом случае мнения экспертов считаются согласованными, и все баллы следует учитывать при итоговой оценке качества.

Например, приведенные в табл. 16 данные свидетельствуют о том, что баллы 1-го эксперта существенно отличаются от баллов остальных экспертов. Однако если оценить степень согласованности экспертных оценок, то применительно к ранжированию качества анализируемых объектов, они не различимы. В частности, коэффициенты корреляции между наборами оценок для любых двух экспертов равны единице. Наряду с этим, если для представленных экспертных оценок применить дисперсионный анализ (см. табл. 17), то получим, что F > F кр. Результаты дисперсионного анализа указывают на то, что между средними значениями экспертных оценок имеются существенные различия, но эти различия не отражают различия в оценке экспертами порядка ранжирования по качеству анализируемых объектов. Несоответствия между результатами регрессионного и дисперсионного анализа обусловлены тем, что каждый из экспертов наряду с общими требованиями руководствуется еще и своей индивидуальной «шкалой» измерений качества. Чтобы устранить эти различия необходимо привести результаты экспертных оценок к единой шкале измерений.

Таблица 16

Дата добавления: 2014-11-25