Методы формирования групповой оценки

Обработка результатов опроса

После того, как опрос проведен и зафиксированы мнения экспертов, полученные перечисленными выше способами, их необходимо обработать для получения групповой оценки и определения ее значимости.

При использовании метода разбиения на множества для обобщения оценок можно использовать тривиальный способ – голосование.

Например, пусть от трех экспертов получены следующие оценки:

Эксперт Множество	Петров	Сидоров	Кузнецов
Специалисты-теоретики	Иванов, Петров	Иванов, Петров, Соколов, Сидоров	Иванов, Петров, Сидоров
Специалисты-практики	Соколов	Кузнецов	-
Универсальные специалисты	Сидоров, Кузнецов	-	Соколов, Кузнецов
Коэффициенты компетентности	0.32	0.32	0.36

Чтобы обобщить полученные оценки, подсчитаем, сколько экспертов проголосовало за то, чтобы отнести каждого из специалистов к каждому из трех множеств:

Множество Специалист	Специалисты-теоретики	Специалисты-практики	Универсальные специалисты
Иванов
Петров
Соколов
Сидоров
Кузнецов

Из построенной таблицы видно, что мнения экспертов по поводу Соколова полностью разошлись, и получить для него общую оценку данным методом не представляется возможным. Для уточнения оценки можно использовать различные методы, например, учет коэффициентов компетентности экспертов. Это означает, что следует просуммировать не просто поданные за данное утверждение голоса, а оценки компетентности, соответствующие этим голосам:

Множество Специалист	Специалисты-теоретики	Специалисты-практики	Универсальные специалисты
Иванов
Петров
Соколов	0.32	0.32	0.36
Сидоров	0.68		0.32
Кузнецов		0.32	0.68

Способ расчета поясним на примере отнесения Сидорова к множеству теоретиков: за это утверждение проголосовали сам Сидоров (коэффициент равен 0.32) и Кузнецов (коэффициент равен 0.36), 0.32 + 0.36 = 0.68. Приведенный пример будет более понятным, если провести прямую аналогию с голосованием на акционерном собрании. Следует представить себе, что Сидоров обладает 32% акционерного капитала, а Кузнецов – 36%. Таким образом, можно сказать, что за данное суждение проголосовало 68% акций.

При таком подходе решение принимается уже не простым большинством, а так называемым квалифицированным большинством.

После проведения расчетов можно получить оценку для Соколова – его следует отнести к универсальным специалистам. Обобщенные оценки для Иванова и Петрова не изменились, поскольку по их поводу мнение экспертов было единогласным. Групповое суждение о Сидорове и Кузнецове также не изменилось, большинство по-прежнему относит их к тем же множествам.

Отметим, что последнее имеет место не во всех случаях. Например, если бы коэффициенты двух экспертов, чьи мнения совпадают, равнялись бы по 0.2, а коэффициент третьего эксперта 0.6, то тогда с учетом компетентности групповая оценка изменилась бы. Не смотря на то, что за одно мнение поступило большее количество голосов, их суммарный вес составил бы 0.4, т.е. меньше, чем вес «меньшинства» - 0.6.

Кроме того, голосование может проводиться не простым, а усиленным большинством (мнение принимается, если за него проголосовали, например, 2/3 участников экспертизы, или любая другая доля экспертов, но больше половины, вплоть до требования единогласия). Здесь также уточнение оценки с учетом компетентности может сыграть решающую роль (если используется усиленное квалифицированное большинство).

Для уточнения оценки можно использовать и другие методы, исходя из конкретной ситуации. Например, в данном случае можно было бы присваивать самооценке эксперта больший вес, предполагая, что он лучше других знает, в какой области он специализируется. Можно разработать и принципиально другие методы, например, голосование в несколько туров по различным правилам и т.п.

Итак, групповое суждение в данном примере будет иметь следующий вид:

Множество	Специалисты
Специалисты-теоретики	Иванов, Петров, Сидоров
Специалисты-практики	-
Универсальные специалисты	Соколов, Кузнецов

Отметим, что здесь имеет место явный диктат Кузнецова – групповая оценка полностью совпадает с оценкой, данной этим экспертом.

Для обобщения численных оценок используются различные средние, – обычно это взвешенное среднее, медиана и мода.

Моду и медиану обычно используют, если экспертов много, и различия в их компетентности не учитываются.

Рассмотрим пример. Пусть требуется оценить те же 5 способов совершенствования управления предприятием:

А) сменить генерального директора на г. Смирнова;

Б) сменить генерального директора на г. Колосова;

В) подчинить отдел сбыта непосредственно генеральному директору;

Г) ввести в штат дополнительного секретаря ген. директора;

Д) сменить начальника отдела сбыта; -

в 3-балльной шкале. Если по мнению эксперта применение данного способа не принесет пользы, он выставляет 1 балл, если некоторый эффект будет иметь место – 2 балла, если эффект будет значительным – 3 балла. Результаты опроса и расчетов приведены в таблице:

Способы Эксперты	А	Б	В	Г	Д	Коэффициент компетентности
Петров						0.32
Сидоров						0.32
Кузнецов						0.36
Mo
Me
Среднее	2.36	2.36	2.32	1.32	2.28

Расчет средней взвешенной оценки рассмотрим на примере способа А: 2*0.32 + 2*0.32 + 3*0.36 = 2.36. Мода и медиана для всех способов совпадают, поскольку экспертов всего трое, и если на какую-то из оценок выпадает 2 мнения из трех (большинство), то она является одновременно и модой, и мнением того эксперта, который находится в середине ряда из трех экспертов, проранжированных по своим оценкам. Отметим, что если округлить средние взвешенные до целых, то здесь и они во всех случаях совпадают с другими средними, за исключением способа Д. Для него Мо = Ме = 3, а среднее взвешенное равно 2. Т.е., если учитывать более высокую компетентность Кузнецова, эффект от замены начальника отдела сбыта не следует все же считать очень значительным.

Стоит отметить, что средневзвешенная оценка будет получена в непрерывной шкале. Если необходимо перевести ее в дискретную, можно заранее оговорить способ округления, но обычно это не делается.

Построение групповой оценки в случае ранжирования представляет несколько большую сложность. Рассмотрим несколько методов обобщения ранговых оценок:

1. По числу первых мест – согласно этому методу наилучший ранг имеют те объекты, которые большинство экспертов поместило на первые места в ранжировании.

Например, пусть от экспертов получено ранжирование для тех же 5 способов совершенствования управления предприятием. Групповую оценку получим в несколько этапов. Вначале подсчитаем, сколько экспертов проголосовало за то, чтобы присвоить способу 1-й ранг, или 1-е место. За это мнение проголосовало по одному эксперту для способов А и Д. Следовательно, 1-й ранг в групповой оценке должен быть присвоен одному из этих способов. Уточним теперь, сколько экспертов присвоили способам ранг 1.5 (следующая по величине из полученных оценок). Этот ранг также был получен дважды – по одному разу для объектов В и Д. Следовательно, 1-й ранг в групповом ранжировании следует присвоить способу Д (он имеет оценки 1 и 1.5), 2-й – способу А (так как он имеет оценку 1) и 3-й – способу В (так как он имеет оценку 1.5). Осталось упорядочить способы Б и Г. Теперь надо определить, сколько экспертов и для каких из этих способов проголосовали за 2-е место. Такая оценка была получена только для способа Б, следовательно, ему следует присвоить 4-й ранг, а оставшемуся способу Г – 5-й ранг.

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	3.5	3.5
Сидоров			1.5		1.5
Кузнецов
Ранг
№ места	Количество голосов
1.5

2. По сумме рангов – наилучший ранг получают те объекты, для которых сумма рангов, полученных от всех экспертов, является наименьшей. Этот метод может быть использован в различных модификациях.

Для того же примера простое суммирование рангов не позволяет сравнить между собой способы В и Д, и они получают одинаковый стандартизированный ранг 1.5.

Однако, можно уточнить полученную оценку по числу первых мест, - поскольку из этих двух способов способ Д получил от одного из экспертов 1-е место, ему присваивают ранг 1, а способу В – ранг 2.

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	3.5	3.5
Сидоров			1.5		1.5
Кузнецов
Сумма рангов	8.5	9.5	6.5		6.5
Ранг			1.5		1.5
Уточнение по числу первых мест
Сумма квадратов рангов	29.25	32.25	15.25		19.25
Ранг

Другой способ обобщения оценок – суммирование квадратов рангов. Расчеты поясним на примере способа Д: 1² + 1.5² + 4² = 1 + 2.25 + 16 = 19.25. С использованием этого метода 1-й ранг будет присвоен способу В, а 2-й – способу Д. Здесь сыграло свою роль число последних мест, а именно тот факт, что одним из экспертов способу Д был присвоен предпоследний, 4-й ранг, что значительно увеличило сумму квадратов. Что касается способа В, то хотя никто и не сопоставил этому способу 1-й ранг, но никто и не оценил его слишком низко.

Из рассмотренного примера видно, что использование четырех различных методов позволяет получить четыре различных упорядочения. Это наглядно иллюстрирует, каким образом рабочая группа, выбирая метод обобщения оценок, может манипулировать результатами опроса. Тем не менее, некоторые выводы могут быть сделаны объективно. В частности, оценки для способов Б и Г совпадают и практически не вызывают сомнений. Способ Д (смена начальника отдела сбыта) в любом случае занимает одно из первых двух мест.

Ни один из рассмотренных методов нельзя использовать в случае неполного ранжирования, когда эксперты сравнивают между собой различное число альтернатив.

Например, пусть по некоторым причинам эксперт Петров не учитывал при ранжировании способ Б, Сидоров – способ А, а Кузнецов – способы В и Г (возможно, эти альтернативы просто не были доведены до их сведения, либо эксперты посчитали такого рода действия лежащими вне сферы своей компетенции). Теперь уже не имеет смысла подсчитывать число первых мест, т.к. второе место из четырех альтернатив несравнимо со вторым из трех. Суммировать ранги также нельзя, так как некоторые способы оценивались двумя экспертами, а некоторые – тремя, следовательно, полученные суммы нельзя будет сравнивать. Для такого случая разработан ряд специальных методов, наиболее простым из которых является подсчет среднего арифметического ранга для каждого из сравниваемых объектов.

Средний ранг j–го объекта М_j рассчитывается по формуле:

где а_ij – ранг, который i–й эксперт приписывает j–му объекту,

m_j,– число экспертов, которые оценили j–й объект,

n – число объектов.

Для данного примера М₁ = (3+1)/2 = 2; М₂ = (3.5+2)/2 = 2.75; и т.д., М₅ = (1 + 1.5 + 3)/3» 1.83:

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров		-
Сидоров	-	3.5	1.5	3.5	1.5
Кузнецов			-	-
Средний ранг		2.75	1.75	3.75	1.83
Ранг

ЛЕКЦИЯ 12

Теорема Эрроу

При построении моделей и выборе метода обобщения индивидуальных экспертных оценок в групповую оценку полезно знать о хорошо известной в математическом моделировании теореме Эрроу – теореме об агрегировании индивидуальных предпочтений.

Она была сформулирована американским экономистом Кеннетом Джозефом Эрроу, удостоенном в 1972 году Нобелевской премии по экономике [http://www.computerra.ru/think/profy/22508/].

Ее суть сводится к тому, что не существует общего правила обобщения индивидуальных предпочтений, которое одновременно удовлетворяло бы следующим требованиям:

1) полнота - оно должно охватывать всевозможные индивидуальные предпочтения;

2) непротиворечивость - должны соблюдаться рефлексивность и транзитивность предпочтений;

Свойство рефлексивности означает, что если объект а лучше объекта b, то объект b хуже объекта a (будем обозначать a > b Û b < a).

Свойство транзитивности означает, что a > b, b > c Û a > c).

3) принцип Парето - положительная связь общественных и индивидуальных предпочтений; общественные предпочтения должны зависеть от индивидуальных (если для всех индивидуумов a > b, то и для групповой оценки должно быть a > b, и если одна из альтернатив поднимается в шкалах индивидуальных предпочтений, она не должна опуститься и в шкале групповых предпочтений);

4) независимость от внешних альтернатив (добавление еще одной альтернативы не должно изменить предпочтения по поводу остальных);

5) отсутствие диктата – групповые предпочтения не должны быть полностью идентичны предпочтениям одного лица (диктатора);

6) симметричность относительно индивидуумов – не имеет значения, в каком порядке рассматриваются индивидуальные предпочтения.

Иными словами, если от индивидуальных оценок естественно ожидать внутренней непротиворечивости, то при их обобщении в групповую оценку, при попытке их совместить, невозможно придумать такое правило, которое, с одной стороны, подходило бы к любым разнообразным расхождениям интересов, а с другой, было бы вполне справедливым.

Поскольку то правило обобщения оценок, о котором идет речь, принято называть функцией общественной полезности, или функцией общественного благосостояния, и теорема Эрроу доказывает невозможность ее построения, эту теорему иногда называют теоремой о невозможности демократии.

Теорема Эрроу имеет строгое математическое доказательство [K. J. Arrow Social Choice and Individual Values (Wiley, 1951)].

Рассмотрим ряд примеров, иллюстрирующих нарушение сформулированных требований некоторыми существующими правилами агрегирования.

Наиболее известный пример – парадокс Кондорсе (или парадокс нетранзитивности) – был впервые отмечен маркизом де Кондорсе еще в 18 в.

Предположим, что если бы трем экспертам было предложено упорядочить 3 альтернативных решения: А, Б и В, - то для первого из экспертов было бы А > Б > В, для второго Б > В > А, для третьего В > А > Б. Пусть экспертам предложено путем голосования сравнить альтернативы попарно. При сравнении А и Б за то, что А > Б подано 2 голоса (1-го и 3-го экспертов) против одного. При сравнении Б и В за то, что Б > В также подано 2 голоса против одного (это голоса 1-го и 2-го экспертов). Если А > Б и Б > В, должно быть А > В. Тем не менее, это не так, - при сравнении этих альтернатив оказывается, что В > А, снова большинством в 2 голоса против одного (это голоса 2-го и 3-го экспертов).

Таким образом, перед рабочей группой открывается простор для манипулирования мнениями экспертов. Если она стремится избежать сравнения альтернатив В и А, занизив роль альтернативы В, то следует сначала сравнить Б и В, а затем, отбросив В, как худшую, сравнить Б и А. При этом А займет первое место.

Пример зависимости от внешних альтернатив приведем для обобщения ранговых оценок по сумме рангов. Пусть три эксперта вначале сравнивают две альтернативы – А и Б. Их индивидуальные и групповая оценки представлены в таблице.

Альтернативы Эксперты	А	Б
Сумма рангов
Ранг

Итак, групповая оценка означает, что А лучше Б.

Вводится третья альтернатива В. Для первого эксперта она хуже остальных двух, для второго новая альтернатива представляется, напротив, самой лучшей, а третьему альтернатива В кажется хуже Б, но лучше А. Свои предпочтения по поводу альтернатив А и Б они не изменили. Построим аналогичную таблицу:

Альтернативы Эксперты	А	Б	В
Сумма рангов

Как ни странно, но с появлением третьей альтернативы предыдущие две (А и Б) стали равноценными (6 = 6).

Построение достаточно логичного правила обобщения индивидуальных предпочтений становится возможным, если снять какое-то из требований теоремы Эрроу. Этим требованием не обязательно должно быть требование отсутствия диктата (т.е. демократия не является невозможной). Обычно отказываются от требования полноты, так как в большинстве практических ситуаций неразумно предполагать наличие всех логически возможных комбинаций индивидуальных предпочтений.

Дата добавления: 2014-01-04