Разработка методов обработки результатов

Разработка анкеты

Форма проведения экспертизы может быть самой разной, но обычно в ее основе лежит анкетированиеэкспертов. На подготовительном этапе разработчиком экспертизы должны быть предложены варианты разрешения проблемы (альтернативы). На их основе разрабатывается анкета для эксперта. Анкета представляет собой набор вопросов, на которые эксперт должен дать ответ. При разработке вопросов анкеты следует иметь в виду, что эксперт может решить задачу оценивания, а также может предложить дополнительные альтернативы.

Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Система вопросов в анкете должна отвечать следующим требованиям [13]:

1. вопросы должны быть сформулированы в общепринятых терминах;

2. формулировка вопроса должна исключать всякую смысловую неопределенность;

3. обеспечивать достижение цели экспертизы;

4. соответствовать проблеме;

5. обеспечивать единое и однозначное толкование результатов анкетирования;

6. обеспечивать использование конкретного способа верификации[2] результатов экспертизы.

Задавая вопросы в отношении задачи оценивания, разработчик экспертизы должен четко понимать, к какому виду задачи относится конкретный вопрос: измерение, ранжирование или классификация. Как следствие, при решении задачи измерения должна быть предложена единица измерения и определена шкала. При постановке вопроса в отношении задачи ранжирования должны быть объявлены его правила (строгое – мягкое), а также определена номенклатура объектов. Наконец постановка вопроса, предусматривающего решение задачи классификации, должна быть задана иерархия классов и классификационные признаки.

Анкета может содержать вопросы, позволяющие добавлять альтернативы и классификационные группы. В этом случае ответ на вопрос не может быть формализован и предусматривает описание вносимого предложения. Необходимо осознавать, что наличие подобных вопросов может повлечь за собой повторение процедуры экспертного оценивания.

При подготовке экспертизы разрабатывается метод оценки по каждому из вопросов анкеты, а также метод выставления совокупной оценки.

Методы обработки результатов экспертного оценивания, как правило, основываются на методах статистического оценивания. При подготовке экспертизы заранее выбирается один из известных методов или придумывается свой. Для примера к числу таких методов могут быть отнесены: вычисление среднего значение оценок, вычисление медианы, вычисление максимума и другие в зависимости от особенностей рассматриваемой проблемы. Кроме этого, необходимо оценить погрешность оценки, представляющую собой средний квадрат отклонения оценок экспертов.

Для построения совокупной оценки результатов анкетирования могут использоваться методы выбора компромисса, использовавшиеся для решения многокритериальных задач (см. п. 2.6). Так, например, при задании определенных весовых коэффициентов каждого измеряемого параметра можно воспользоваться методом скаляризации векторного критерия. Если в результате оценивания решалась задача ранжирования, то для построения совокупной оценки можно использовать метод последовательной уступки. Наконец, в зависимости вида от разрешаемой проблемы, возможно сочетание различных методов выбора компромисса.

Качество работы экспертов можно оценить по так называемому коэффициенту конкордации, учитывающему разброс погрешностей оценок каждого эксперта по отношению к средней оценке всей группы. Подобный метод позволяет не принимать во внимание склонность экспертов к выставке либо более жестких, либо более мягких оценок по сравнению с группой, и в то же время выявить эксперта, чьи оценки в одних случаях занижены, а в других завышены.

Количество экспертов, непосредственно включаемых в состав экспертной группы, влияет на качество проведения экспертизы. Разными авторами предлагаются разные методы определения их числа в зависимости от величины ожидаемой ошибки. Так, например, в [13] предложена следующая эмпирическая формула:

где ‑ верхнее значение относительной ошибки оценивания (). Оговаривается, что должна наблюдаться стабилизация средней оценки, о чем свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на .

Дата добавления: 2014-11-20