Основные понятия об экспертных оценках

Лекция 4. ЭКСПЕРТНЫЕ ОЦЕНКИ ПРИ РАЗРАБОТКЕ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ

Экспертные оценки в той или иной форме использовались во все времена. Однако внимание к ним существенно возрастало по мере усложнения производственных технологий, а, следовательно, и процесса разработки решений. Официальным началом их становления считают 50-е – 60-е годы CC века.

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений; возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов; возможностей последних принять участие в работе экспертной комиссии.

Применяют три основные группы оценки качеств эксперта: априорные, апостериорные, тестовые.

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах. В эту группу включает в число прочих методы самооценивания, когда эксперт сам даёт оценку своим качествам, используя следующие способы:

· самооценка по одной из бальных шкал;

· самооценка с использованием числовых шкал, которые наряду с численными значениями градаций содержат их качественное описание;

· самооценка по вербальной шкале, т.е. эксперт даёт словесную оценку своим знаниям, используя качественные градации заранее разработанной шкалы;

· самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия: характеризующий его знакомства с основными источниками информации в данной области; характеризующий знакомство с объектом экспертизы.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты взаимно оценивают друг друга. Наиболее распространённый из них – метод списка экспертов.

К числу априорных методов оценки качеств эксперта относится также весьма распространённый документационный (анкетный) метод.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предыдущих опросах. С их помощью могут быть выявлены конформизм, конъюнктурность и компетентность эксперта. Для оценки уровня компетентности специалиста может быть применён метод парных сравнений.

Апостериорные методы предполагают также оценку достоверности суждений эксперта. В качестве критерия используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.

Ещё одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Он основан на расчёте коэффициента отклонения К О.

К оi =D oi /D max

К oi -коэффициент отклонения суждений i-го эксперта; D oi -отклонение индивидуальной оценки i-го эксперта от результирующей оценки; D max –максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качества эксперта. Их суть - выполнение испытуемым экспертом заранее подготовленного задания. Достоинство тестовых методов состоит в том, что они позволяют не только установить наличие у эксперта определённого профессионального уровня, но и выявить навыки и опыт, необходимые для эффективного участия в работе экспертной комиссии. Использование тестовых методов позволяет оценить и воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближённых к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел «забыть» результаты предыдущего. После завершения эксперимента полученные оценки сравниваются.

Главными задачами экспертных оценок являются:

1. Определение целей. При принятии важных решений необходимо четко представлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций рекомендуется применять “дерево целей”.

2. Экспертный прогноз. Особую роль при принятии решений играют проблемы, связанные с оценкой будущего развития анализируемых ситуаций, ожидаемых результатов альтернативных вариантов решений. Экспертная информация содержит не только количественные, но и качественные оценки, поэтому стать базой для прогнозов, и даже более реалистичной, чем тривиальная статистическая информация.

3. Сценарии ожидаемого развития ситуации. Наиболее часто для формирования сценария применяют метод “мозговой атаки” в сочетании со специальными приемами использования аналитической информации.

4. Генерирование альтернативных вариантов. Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа “мозговой атаки”, а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов.

5. Определение рейтингов.

6. Оценочные системы. Формируются при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели.

7. Принятие коллективных решений. Здесь проводится не только коллективная экспертиза, но и открытое обсуждение альтернативных вариантов решения, дополнительного обмена информацией между лицами, принимающими непосредственное участие в процессе принятия решений, согласования, поиска, компромисса.

Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертизы и без него и т.д. Характер экспертной информации, которую предполагается использовать при принятии решений, накладывает определенные требования на выбор конкретного метода экспертизы.

Рассмотрим наиболее популярные методы экспертиз.

Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок, и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Однако метод комиссий обладает и недостатками. В частности, отсутствует анонимность, что может приводить к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявляется ее противниками и пытается выявить отрицательные стороны. Возможно и третья «сила», которая регулирует ход экспертизы и выносит окончательное решение.

Метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных ими промежуточных и конечной целей. На втором туре анализу подвергаются уже не конечная, а промежуточные цели, сформированные экспертами на первом туре. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда более не требуются дополнительные анализы и детализаций.

Метод сценариев. Сценарий означает сюжетную схему, то есть заранее подготовленный детальный план осуществлении чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий. При подготовке сценария большое внимание обращают на критические точки ветвления, т.е. точки, в которых малые воздействия оказывают заметное влияние на результат.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант - небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария. Чем больше генерируется и анализируется вариантов, тем выше эффективность адресных опережающих воздействий на конкретные подсистемы объекта управления.

В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны “Дельфи” и «Мозговой штурм».

4.2. Метод «Дельфи»

Метод «Дельфи» один из основных в проведении групповых экспертиз и имеет различные модификации. Метод разработан и применен в США впервые в 1964 году сотрудниками научно-исследовательской корпорации РЭНД.

Метод "Дельфи" целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

В "Дельфи" предусматривается создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Еще одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших "крайние" точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится, чаще всего в 4 тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений.

Перед рассылкой анкеты эксперту объясняется существо проблемы.

На первом туре экспертам сообщается цель экспертизы, и формируются вопросы, ответы на которые составляют основное содержание экспертизы. Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших “крайние” точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов — медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25 % численных значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Степень согласованности мнений экспертов определяют коэффициентом вариации n, который не должен превышать 33%. Он рассчитывается по формуле:

,

где – среднее квадратическое отклонение оценок;

,

где x -среднее значение оценки;

x_i – оценка каждого эксперта; n – число экспертов.

Медиана — значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших “крайние” точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждому эксперту предоставляется распределение оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. Как показывает практика, желаемое согласие наступает к четвертому туру.

При использовании “Дельфи” полезно учитывать следующее:

1. Группы экспертов должны быть стабильными, и численность их должна удерживаться в благоразумных рамках.

2. Время между турами опросов не должно быть более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и однозначно сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

8. Следует установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

9. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

“Дельфи” является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически взвешивать свои суждения с учетом ответов доводов коллег.

4.3. Метод «мозговой атаки»

Вторым распространенным методом проведения экспертиз является “мозговая атака”. Этот метод, известный также как «мозговой штурм», «конференция идей», был предложен американским ученым А. Осборном в 1955 г.

Основная направленность метода – выявление новых идей и решений. Для этой цели организаторы экспертизы создают атмосферу, наиболее благоприятствующую генерированию идей (благожелательности, поддержки), освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована.

Метод “мозговой атаки” характерен открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия: во-первых, запрещается критика чужих суждений; во-вторых, предполагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации. Достоинством данного метода является возможность принятия решения за сравнительно короткий срок.

Применение этого метода устраняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

«Мозговой штурм» основан на нескольких принципах.

1. В решении поставленной задачи участвуют две группы людей: генераторы идеи и эксперты. Генераторы идеи объединяют людей с творческим мышлением, с фантазией и со знаниями науки, техники и экономики. Эксперты играют роль аналитиков.

2. При генерировании никаких ограничений не должно быть. Высказываются абсолютно любые идеи.

3. Философская основа мозгового штурма - теория 3.Фрейда (1856-1939 гг.), согласно которой сознание человека представляет собой топкое и непрочное наслоение над подсознанием.

Основное достоинство «мозговой атаки» - в запрете на критику. Но запрет на критику - это одновременно и его слабость. Для развития идеи нужно выявить ее недостатки. А для этого нужна критика данной идеи.

Весь процесс «атаки» можно разделить на шесть этапов.

1. Формируется группа экспертов. Обычно её численность составляет 10-15 человек.

2. Составляется проблемная записка. Записка может содержать следующие сведения: состав причин возникновения проблемной ситуации; анализ причин и возможные последствия из проблемной ситуации; анализ мирового опыта разрешения подобных проблем (если он имеется); классификация (систематизация) возможных путей разрешения проблемной ситуации; формулировка проблемной ситуации в виде центрального вопроса с иерархией подвопросов.

3. Генерация идей. Ведущий раскрывает содержание проблемной записки, напоминает участникам "мозговой атаки» о следующем: а) высказывания должны быть четкими и сжатыми; б) скептические замечания и критика предыдущих выступлений запрещается; в) каждый участник может выступать многократно, но не подряд; г) не разрешается зачитывать подряд список идей, подготовленных участником заблаговременно.

Продолжительность "штурма" может находиться в пределах 20-60 минут (в зависимости от активности участников).

4. Систематизация идей, высказанных на этапе 3 (генерации). На данном этапе: а) составляется номенклатурный перечень всех высказанных идей; б) выявляются дублирующие и дополнительные идеи, затем они объединяются с основной идеей; в) выделяются признаки, по которым могут объединяться идеи; г) идеи объединяются в группы согласно выделенным признакам; д) составляется перечень идей по группам; в каждой группе идеи записываются по правилу - от общих к частным.

5. Деструирование (разрушение) систематизированных идей. Участники "штурма" выдвигают доводы, опровергающие систематизированную идею. В процессе разрушения может объявиться контридея.

6. Оценка критических замечаний и составление списка практически применимых идей. На данном этапе составляется сводная таблица. Первая графа таблицы - этапы систематизации идей; вторая - критические замечания, опровергающие идеи; третья - показатели практической применимости идей; четвертая - контридеи.

Составляется окончательный список идей. В список переносятся только те идеи, которые не опровергнуты критическими замечаниями или контридеями.

Возможна и «обратная атака». Она означает, что участники ищут недостатки какого-либо нового продукта или операции, устраняют их и выдвигают новые задачи.

4.4. Метод «ПАТТЕРН»

ПАТТЕРН, являясь разновидностью экспертных методов, позволяет анализировать и ранжировать по степени важности сведения в любой области деятельности таким образом, чтобы можно было представить сложное и взаимное соотношение постоянных и переменных факторов, на которых основываются принимаемые решения.

Иерархическая модель системы ПАТТЕРН строится исходя из принципов дедуктивной логики путем деления проблем на подпроблемы. Разработчики ПАТТЕРН ввели «информационный принцип» для оценки всех элементов «дерева целей», т.е. учитывали только те факторы и данные, которые требовали внимания руководителей, принимающих решения.

Разработка иерархического «дерева целей» по методике ПАТТЕРН начинается с составления «сценария». Сценарий устанавливает соотношение целей в общем их наборе путем группового экспертного анализа науки и техники.

«Дерево целей» для оценки относительной важности всех входящих в ПАТТЕРН элементов строится «сверху вниз» исходя из сценария, поэтапно, уровень за уровнем, так, чтобы мероприятия последующего уровня обеспечивали задачи предыдущего. Главным преимуществом информационного обеспечения ПАТТЕРН является возможность количественной оценки всех элементов, входящих в «дерево целей», в виде «весов», т.е. коэффициентов их относительной важности (ri). В общем виде значения тех или иных мероприятий, заданий и задач присутствуют в сценарии.

Присвоение коэффициентов проводится в несколько туров. После получения результатов первого тура группа ПАТТЕРН подсчитывает средние значения коэффициентов и оставляет мнения тех специалистов, коэффициенты которых значительно отличаются от средних.

Затем проводится второй тур. Он начинается с сообщения о полученных результатах и дисперсии коэффициентов. Затем слово предоставляется специалистам, проставившим коэффициенты, значительно отличающиеся от средних. Специалист должен объяснить причину, по которой данный коэффициент, по его мнению, должен иметь такое значение. Цель объяснения не в том, чтобы «перетянуть» на свою сторону других, а в том, чтобы обеспечить глубину понимания задачи всеми участниками.

Количество туров в значительной мере зависит от квалификации специалистов и их опыта; считается, что в среднем достаточно трех туров голосования для групп, состоящих из 10-12 экспертов.

Заполнение матрицы (табл.4.1.) является главной целью экспертной оценки. Такой способ заполнения матрицы является существенным улучшением методики интуитивной оценки, используемой в других методах (например, в «Дельфи»).

Таблица 4.1.

Общая форма матрицы соответствия

Критерий (i)	Вес критерия (Квi)	Элементы уровня (j)
			…	n
	Кв1	S11	S12	S13	…	S1n
	Кв2	S21	S22	S23	…	S2n
	Кв3	S31	S32	S33	…	S3n
…	…	…	…	…	…	…
m	Квm	Sm1	Sm2	Sm3	…	Smn

Для достижения однородности результата вводятся два нормализующих логических условия:

Тогда коэффициент относительной важности определяется так:

Условия нормализации также требуют, чтобы сумма коэффициентов относительной важности равнялась единице: , т.е. коэффициент относительной важности учитывает суммарное значение основных средств, применяемых для реализации главных мероприятий. После расчета коэффициентов относительной важности следует перемножить оценки, стоящие возле элементов дерева и относящиеся к каждой ветви.

Дата добавления: 2014-01-07