Формирование правил определения суммарных оценок на осно­ве оценок отдельных экспертов

Работа с экспертами

Формирование вопросов и составление анкет

Правила опроса экспертов содержат ряд положений, обяза­тельных к выполнению всеми. Эти правила должны обеспечи­вать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

- независимость формирования экспертами собственного мнения об оцениваемых событиях;

- удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны ис­ключать всякую смысловую неоднозначность и др.);

- логическое соответствие вопросов структуре объекта оп­роса;

- приемлемые затраты времени на ответы по вопросам ан­кеты, удобное время получения вопросов и выдачи отве­тов;

- сохранение анонимности ответов для членов экспертной группы;

- предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть раз­работаны правила проведения опроса и организации работы экспертной группы.

В зависимости от характера исследуемого объекта, от степе­ни его формализации и возможности привлечения необходимых экспертов, порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуаль­ном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить форму­лировки вопросов и терминологию в анкетах; согласовать целе­сообразность той или иной формы представления таблиц экс­пертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояс­нительным письмом, в котором описываются цель работы, струк­тура и порядок построения таблиц с примерами.

Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анке­тированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятель­ное заполнение анкет, при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов.

На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию, которая требуется для уточнения данных и их окончательного анализа.

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготов­ку и принятие решений.

Существует несколько способов использования группы экс­пертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с помощью определенных приемов эти оценки объединя­ются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления рис­кового события (р) и i-й эксперт указывает для этой вероятно­сти число р., то простейший способ получения обобщенной оцен­ки состоит в вычислении средней вероятности:

где m — число экспертов, участвующих в экспертизе.

В методе «Дельфи» в качестве обобщенного мнения прини­мается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятнос­ти, если попытаться учесть вес (компетентность) самого экс­перта, который определяется на основе предыдущей деятельно­сти (количество верных ответов к общему количеству), либо на основе других методов — «самооценка» экспертом своих знаний в области заданных вопросов, квалификация, должность, уче­ное звание и т.д.

где р_i — вес, приписываемый i-му эксперту. Существуют различные приемы оценки компетентности эк­сперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного эксперт­ного опроса.

В общем случае значения веса, приписываемого i-му экспер­ту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0 < h_i 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, извес­тная нам экспертиза определения индекса БЕРИ для оценки странового риска использует шкалу от 0 до 100 баллов. Вместе с тем, принципиальной разницы в шкалах измерения нет, выбор той или иной из них во многом определяется вкусом исследова­теля, производящего экспертный опрос. Принятая шкала изме­рения может в некоторой степени повлиять на выбор методов анализа и обработки мнений экспертов.

Дата добавления: 2014-01-06