Обработка и анализ результатов опроса экспертов

Подготовка и проведение опроса экспертов

Определение количества экспертов

Существует связь между достоверностью экспертной оценки и количеством экспертов. Вообще говоря, с ростом численности экс­пертной группы достоверность получаемых оценок растет. Однако, начиная с некоторого момента, добавление новых экспертов в груп­пу практически не оказывает влияния на групповую оценку. Следовательно, необходимо установить границы численности для экспертных груш. Для этого используются специальные способы расчета, позволяющие устанавливать численность групп из предположения, что добавление к группе каждого нового эксперта меняет групповую оценку на 5-10%.

Проведению экспертизы должна предшествовать следующая работа:

- подготовка предварительной информации для экспертов

- подготовка необходимого инструментария для проведения экспертизы, (анкет, форм аналитических таблиц и др.)

- варианты решения проблемы

Ответы экспертов сводятся, группируются, анализируются и используются для разработки анкет.

Выбор способа проведения опроса обусловлен характером оцениваемой информации, возможностью ее получения и интерпретаций, а также лимитом времени на проведение экспертизы, удаленностью места нахождения экспертов от места расположения рабочей группы, возможностью собрать экспертов вместе. Опрос может быть осуществлен путем очного или заочного анкетиро­вания.

Заполненные экспертами анкеты, подвергаются логической про­верке, сводке и подсчету подученных ответов.

В зависимости от характера задач, решаемых в процессе экспертизы, получаются оценки двух типов:

- количественные значения прогнозируемых процессов и явлений, например, количественные оценки степени удовлетворения опроса на изделия определенных групп товаров

- ранги или балльные оценки, определяющие последовательность развития али соотношения элементов структуры прогнозируемых про­цессов и явлений, например, ранги влияния нескольких факторов на потребность населения в определенных товарах.

Соответственно с этими типами оценок производится их согла­сование и анализ.

Для определения степени согласованности и получения групповой количественной экспертной оценки исчисляются простая и взве­шенная средние и коэффициенты вариации V:

m – число экспертов - оценка эксперта i - коэффициент самооценки эксперта - СКО

Если V<33%, мнения экспертов считается согласованными и полученная величина принимается за окончательную групповую оценку.

Если V>33%, мнения экспертов считаются недостаточно согласованными к экспертизу проводят повторно. Перед вторым туром экспертизы рекомендуется сообщить экспертам следующие показатели: среднюю оценку, крайние оценки и среднюю среди оценок за исключением крайних.

Пример. Рассмотрим расчет экспертной оценки предполагаемого уровня удовлетворения спроса на конкретный вид обуви (туфли летние женские открытые). На основе опроса 31 эксперта получены следующие данные:

Следовательно, хотя формально оценки согласованны (V=0.28<0.33), эксперты, считающие себя более компетентными, считают удовлетворённость спроса существенно меньшей, чем все эксперты (53,3<<70.2). Необходимо конкретизировать понятие «удовлетворение спроса» и повторить экспертизу.

15.2. Применение метода "Дельфи" для прогнозирования

Пример применения метода "Дельфи" для прог­нозирования развития науки и техники. Рассматриваются перспективы развития науки и техники на ближайшие 50 лет. Выбрано 200 экспертов. Опрос производится в 4 тура с промежутком в один месяц.

1 тур. Экспертам высылается вопросник с просьбой перечислять основные изобретения и научные открытие, которые они считают необходимыми и осуществимыми в течение ближайших 50 лет, в той области науки и техники, к которой они имеют непосредственное отношение. Так как эксперты компетентны в избран­ной области научно-технического прогресса (например, энергети­ке), то в анкете они обосновывают потребность в называемых ими открытиях и изобретениях. После сбора анкет проводится их обработка, при которой одинаковые события должны быть объеди­нены, второстепенные (с точки зрения организаторов опроса) исключены, а окончательный перечень становится второй анкетой.

II тyр. Эксперты получают анкету с перечнем событий и оценивают даты их реализации. Их также просят привести соображения, почему указанные прогнозируемые события не должны произойти раньше или позже указанной даты. После сбора результатов 2-го тура организаторы подготавливают статистическую сводку мнений экспертов, включающую дополнительные доводы и аргументы "за" и "против" указанных сроков реализаций событий.

Результатом всей процедуры должен быть прогноз, содержащий точку зрения, с которой могло бы согласиться большинство экспертов в группе.

Для оценки степени согласованности используются статисти­ческие характеристики результатов опроса группы экспертов. В классическом методе "Дельфи" на каждом этапе прогнозируемое значение срока наступления события представляется в ведя медианы и двух квартилей. Медиана (Ме) представляет собой число (срок реализации события), оценки которой одной половиной группы экспертов больше этой величины, а другой - меньше. Квартилем называется такое значение срока наступления события, который указан экспертом под номером, равным 1/4 (нижний квартиль) или 3/4 (верхний квартиль) числового ряда распределения временных оценок по возрастанию.

Т.о., каждый ответ внутри группы экспертов учитывается при построении Me, а величина разброса ответов ха­рактеризуется величиной интервала между квартилями.

Рассмотрим пример расчета данных характеристик для 2 тура опроса при прогнозе срока создания промышленной термоядерной энергетической установки.

Рисунок 4‑1 Оценка согласованности экспертов.

При нечетном числе экспертов N=2K+1 медианное значение принимают оценка, данная (K+1)-м экспертом. При четном N=2K Ме равна среднему из значений оценок двух центральных экспертов, т.е. Ме=1/2 (T_к. + T_к+1), где T_к.- ответ эксперта К. В нашем примере (игнорируя мнение «Никогда») медианное значение имеет срок, названный экспертом вод номером (191-1)/2+1=96 от начала ряда. Предполагая, что ответы 52 экс­пертов в интервале 20-25лет распределены равномерно, получаем ответ эксперта 81: 20+(25-20)/52*(96-73)= 22,2.

Квартили рассчитываются аналогично:

Нижний Q1=T_к.«K=1/4*191=47,75, т.е. в интервале 15-20 лет (28<47.75<73). Q1=T_47,75.=15+(20-15)/45*(47,75-28)=17,2

Верхний Q3=T_к.«K=3/4*191=143,25, т.е. интервал 25-30 лет (125<143,25<146). Q3= T_143,25.=25+(30-25)/21*(143,25-125)=29,3

Т.о., 50% экспертов за то, что термояд изобретут через 17,2 – 29,3 года, что можно признать достаточно согласованным.

III тур. Эксперты получают статистические данные и сводку аргументов по 2-му туру, чтобы сформировать новые оценки предполагаемой даты наступления данного события. Если прежняя оценка эксперта не попала в интервал между квартилями, то он должен изменить её или подтвердить эту оценку обоснованием.

После 3-го тура организаторы вновь проводят статистическую обработку анкет, вычисляют новые значения Q1, Ме, Q2, и объединяют их в новом вопроснике вместе о аргументами.

IV тур. Эксперты получают анкеты последнего этапа опроса, вновь корректируют сроки наступления указанных событий и, по желанию организаторов, аргументирует свою оценку,

В качестве дополнительной оценки "достоверности" прогноза по методу "Дельфи" могут быть использованы ответы экспертов типа «Никогда».

Дата добавления: 2014-01-05