Дельфи-метод экспертных оценок

Экспертной оценкой называется средняя, или модальная, ха­рактеристика из высказанных группой компетентных специа­листов мнений о каком-либо явлении и процессе, при условии, что удалось достичь согласованности или близости взглядов.

Экспертные методы получения и оценки маркетинговой информации и методика генерации идей

Как уже было сказано, получить информацию не­посредственно от ее носителей путем непосредственного наблю­дения или опроса часто бывает сложно и дорого. Второй путь -статистическая оценка деятельности носителей информации в тот момент, когда она превращается в определенные действия. На­пример, спрос реализуется в форме товарооборота, этот процесс фиксируется в отчетности, а затем анализируется. Однако и этот способ получения информации трудоемок и не дешев. В то же время в мудрых головах некоторых специалистов складывается картина происходящих рыночных процессов, формируются оцен­ки и характеристики рыночной ситуации (часто в подсознании), иногда человеческий мозг способен экстраполировать дальней­шее развитие процесса, т.е. предсказывать будущее. Человеческий разум пока еще способен соперничать с компьютером, и если не в скорости мышления, то в наличии множества ассоциативных связей и в возможности принимать интуитивные решения.

Это позволяет получать информацию экспертным путем, на ос­нове эвристического использования знаний, опыта и интуиции. Специальные математические способы обработки тех оценок, ко­торые получены экспертным путем, повышают их надежность и точность. Собственно говоря, экспертные оценки не только и не столько инструмент получения информации, но и орудие глубо­кого анализа и прогноза (подробнее см. гл. 3 данного пособия). Часто для характеристики связей между различными экспертны­ми оценками используют непараметрические показатели связи, в частности коэффициенты ранговой корреляции Спирмена и Кендэла.

Суть любого экспертного исследования заключается в подборе и формировании группы независимых, достаточно компе­тентных в изучаемой проблеме специалистов, высказывающих свое согласованное мнение, которое рассматривается как экспер­тная оценка.

Экспертные оценки могут быть количественными (представ­лять собой абсолютные, относительные и средние величины) и качественными. В первом случае экспертиза базируется на применении статистических и эконометрических методов, во втором -на эвристических процедурах, опирающихся на опыт и интуицию, знание предмета исследования и граничащих с искусством. Со­вершенно бесспорно, что некоторые идеи и оценки рождаются в подсознании и не требуют длительного и трудоемкого, последо­вательного хода рассуждений.

Экспертные методы получения информации используются при изучении рыночной ситуации, в прогнозировании рыночных параметров и составлении сценариев развития рынка, в принятии стратегических решений, в характеристике качества продукции, в оценках потенциала конкурентов и т.д.

Одним из наиболее распространенных и результа­тивных методов получения достоверной информации от узкого круга лиц, авторитетных специалистов в различных областях счи­тается Дельфи-метод. Его название происходит от античного го­рода Дельфы, известного своим оракулом, изрекавшим пророче­ства и предсказания будущего. Создание, математическое обо­снование этого метода и первое применение относятся к концу 40-х годов. Сущность Дельфи-метода заключается в следующем. Исходной предпосылкой для него является гипотеза, т.е. соот­ветствующим образом обработанное коллективное мнение экс­пертов, обладающих соответствующими знаниями, обобщающее их индивидуальные оценки и имеющее необходимую степень на­дежности и достоверности. При этом истинная величина харак­теристик лежит в пределах диапазона оценок данной группы эк­спертов.

Надежность полученных оценок в значительной степени за­висит от правильного подбора экспертов, их квалификации, эру­диции, информированности в изучаемых вопросах. Знание ими предмета и их аналитические способности проверяются путем тестирования. Точность результата зависит от статистической обработки результатов исследования.

Дельфи-метод часто используется в прогнозах и оценках про­цессов, о которых нельзя или трудно собрать информацию, на­пример дать оценки и прогнозы теневого рынка.

Создается рабочая группа, которая разрабатывает комплекс задач, выдвигаемых перед экспертами (проект дерева целей). Ис­пользуются методы логического обоснования, строятся гипоте­зы относительно результатов исследования. На этой основе со­ставляется анкета/вопросник. Количество вопросов не должно быть чрезмерным, так как численность экспертов находится в пропорциональной зависимости от него.

На первом этапе формируется представительная группа экс­пертов, в состав которой входят специалисты различного про­филя. Требование одно: чтобы эксперт был достаточно знаком с проблемой и имел по ней собственное суждение. Конечно, учи­тывается известность кандидата в научном мире или в соответ­ствующей сфере практической деятельности. Численность груп­пы должна быть оптимальной и исходить из потенциально воз­можных кандидатур: слишком большая группа затруднит обработку данных, может усилить степень разброса мнений в от­ветах, повысит стоимость исследования; крайне малое число экс­пертов увеличивает влияние индивидуальных оценок и повыша­ет вероятность случайных ошибок. Следует опираться на прин­цип разумной достаточности, согласно которому увеличение числа экспертов на единицу (N + 1) практически не повлияет на степень колебания дисперсии их ответов. Разумеется, категори­чески запрещено включать в коллектив экспертов лиц, лично за­интересованных в результатах исследования. Это противоречит требованиям достоверности и объективности информации. Ки­бернетика утверждает, что число экспертов не должно быть мень­ше числа исследуемых проблем. Считается, что число экспертов, как правило, может варьировать в пределах от 15 до 50 человек.

Когда формируется группа экспертов, иногда используется следующий метод отбора. Каждому из случайно отобранных пяти специалистов предлагают назвать по пять наиболее авторитет­ных, с их точки зрения, специалистов, к которым в свою очередь обращаются с подобным предложением. Из образовавшегося списка отбирают тех, чьи фамилии встречаются чаще.

Могут быть получены оценки компетенции экспертов. Разра­батывается тест, на основе ответов на который каждому эксперту выставляется балл компетентности (bi). Обобщенная характеристика компетентности экспертов отражается средней величиной:

Компетентность оценивается по критерию степени участия в решении изучаемой проблемы или знакомства с нею. Должна быть разработана шкала балльных оценок, соответствующих уровню компетенции.

Иногда вводятся ранги «важности» эксперта, соответствую­щие его имиджу, известности в ученом мире или в практической области, опыту в изучаемой сфере, занимаемой должности, уче­ному званию или ученой степени и т.д. Обычно стараются при­равнять сумму рангов к 100 или к 1, что упрощает расчет. Фор­мула среднего уровня компетентности принимает вид

Показатель компетентности, определенный независимыми на­блюдателями, целесообразно сопоставить с аналогичными оцен­ками, данными себе самими экспертами. Имеются свидетельства наличия прямой связи между уровнем оценки или самооценки компетенции экспертов и точностью экспертных оценок. Иногда в соответствии с анализом компетентности, организаторы иссле­дования вводят в расчет средней оценки, получаемой из мнений экспертов, «вес» каждого эксперта, т.е. общая оценка является средней арифметической взвешенной.

После того как сформирована группа экспертов, им выдается задание в форме заранее подготовленной анкеты. При этом должна быть обеспечена анонимность опроса, исключающего личный контакт экспертов между собой. На первом этапе иссле­дования каждый эксперт не должен знать об ответах других экс­пертов. По ответам экспертов строится ряд распределения и ис­числяются основные его характеристики: средняя арифметиче­ская, медиана и квартили.

Чем меньше колеблемость, тем больше согласованность от­ветов и, следовательно, их надежность. Распределение ответов ранжируется по атрибутивным, или количественным, признакам. Исчисляются статистические характеристики ответов: средние ве­личины, показатели колеблемости, медиана и квартили (первый и третий).

Напомним, что средняя величина

рассчитывается как от ношение суммы всех оценок к общему числу экспертов, т.е. как простая средняя арифметическая:

Однако в тех случаях, когда вводится ранг (вес) компетентно­сти, используется формула средней арифметической взвешенной:

Медиана (Me) - значение варьирующего признака (ответа эк­сперта), приходящееся на середину ранжированной совокупнос­ти (медиана делит ряд распределения пополам):

[2.5]

Медиана рассматривается как групповое мнение экспертов, а межквартильное расстояние является показателем согласованно­сти их мнений.

Квартили (1-й и 3-й) - варианты, отделяющие в порядке воз­растания с левой и с правой стороны по 1/4 совокупности:

[2.6]

Ответы, попавшие за пределы квартилей, отбрасываются как экстремальные. Ответы же, «вписавшиеся» в межквартильное рас­стояние, считаются достаточно согласованными. Для проверки степени их согласованности исчисляется дисперсия ответов по следующей формуле:

т.е. средняя квадратов значений ответов минус квадрат сред­ней из ответов:

Чем ближе степень колебания дисперсий ответов экспертов к нулю, тем выше репрезентативность согласованной оценки. После выявления преобладающих суждений экспертов проводится ра­бота по сближению их точек зрения. На втором этапе всех экс­пертов, оценки которых находятся в границах межквартильного расстояния (от Q1 до Q3), знакомят с обоснованиями причин рас­хождений мнений тех экспертов, оценки которых вышли за пре­делы межквартильного расстояния. Каждому эксперту, оставше­муся в группе, предоставляется право изменить свою оценку. После этого вся процедура повторяется заново, в случае необхо­димости - несколько раз, пока оценки не сблизятся настолько, что средняя из них сможет считаться достаточно надежной, а по­казатели разброса мнений (их вариация) не снизятся до миниму­ма. Перед очередным туром в анкету могут быть внесены неко­торые изменения с учетом ответов отдельных специалистов. На практике часто эту процедуру проводят упрощенно и в случае малого разброса мнений ограничиваются одним туром анкети­рования. Показатель степени надежности эксперта:

В случае необходимости процедура повторятся еще несколь­ко раз, пока не добивается такое сближение оценок, чтобы дис­персия соответствовала минимальному значению. Только после этого исчисляется средняя величина оценок, которая и считается экспертной оценкой.

Дата добавления: 2014-11-18