Факторы, влияющие на количественный и качественный состав группы

Подбор экспертов.

В зависимости от количества экспертов оценки могут быть индивидуальными и групповыми. В любом случае, групповую оценку получают на основе согласования нескольких индивидуальных.

На первом этапе на основе анализа проблемы определяется количественный и качественный состав группы экспертов. При этом принимаются во внимание следующие факторы:

1) масштаб проблемы - в зависимости от широты решаемой проблемы определяют нижнюю границу количественного состава группы, поскольку каждый аспект проблемы обычно должен быть закреплен по крайней мере за одним специалистом по этому направлению исследования (а возможно, и за несколькими, в зависимости от сложности проблемы и характеристик экспертов). Например, если рассматривать экзамен, как экспертизу преподавателем знаний студента, можно отметить, что при сдаче экзамена по отдельным предметам во время сессии используется индивидуальная экспертная оценка (ее дает один преподаватель – специалист по данному предмету). При сдаче же государственного экзамена в аттестационную комиссию входят специалисты по различным дисциплинам с целью всесторонней проверки знаний будущего выпускника.

2) ожидаемая достоверность оценок – чем более важную роль играет точное решение проблемы для субъекта исследования и других причастных к нему лиц, тем более достоверными должны быть оценки. Принято считать, что увеличение количества экспертов приводит к росту достоверности оценок (разумеется, при соблюдении надлежащих требований к их качественному составу). Для того же примера можно отметить, что при сдаче государственного экзамена создается комиссия из нескольких преподавателей еще и потому, что здесь речь идет о получении студентом диплома, что играет значительно более важную роль как для самого студента, так и для репутации вуза (по сравнению со сдачей экзамена во время обычной сессии).

При небольшом количестве экспертов (даже если они обладают высокой квалификацией) на экспертную оценку могут существенно повлиять крайние мнения. Например, один из двух метеорологов оценивает вероятность дождя в 0,1, а другой – 0,9 (если упрощенно подсчитать групповую оценку методом простого среднего арифметического, то вероятность дождя следует принять 0,5). При этом впоследствии может выясниться, что первый из привлеченных специалистов оказался активным сторонником новой и, возможно, ошибочной, теории построения метеорологических прогнозов. Если бы в группу были привлечены несколько других специалистов, быть может, и с более низкой квалификацией, но сторонников традиционного подхода, групповая оценка оказалась бы ближе к 0,9, что более соответствовало бы истинной ситуации.

Но на эту же ситуацию можно посмотреть и по-другому, - возможно, новая теория как раз верна, и ее имеет смысл учесть. Поэтому отметим, что, с другой стороны, слишком большое количество экспертов может привести к неоправданному сглаживанию крайних мнений, которые не обязательно будут неверны.

С целью выявления влияния числа экспертов на достоверность оценки проводились многочисленные научные исследования. Их результатом становились попытки построения функциональной зависимости средней ошибки от количества экспертов. Поскольку для подсчета этой ошибки и определения условий проведения экспертизы использовались различные показатели и статистические допущения (которые не всегда могут быть реализуемы на практике), полученные зависимости несколько различаются между собой. Кроме того, такая зависимость определялась эмпирически (опытным путем) на основании собранных статистических данных. Упрощенно ее можно представить в виде следующего графика (на этом графике зависимость близка к гиперболической у=а/х):

Из рисунка видно, что эта зависимость носит характер замедленного снижения (т.е. с ростом числа экспертов ошибка уменьшается, но это уменьшение становится все меньше). Кроме того, можно сказать, что при уменьшении числа экспертов менее 5-7 при дальнейшем его уменьшении происходит достаточно значительное увеличение ошибки. При увеличении их числа более 20 ошибка снижается незначительно, почти не изменяется. Из этого следует, что наилучшее число экспертов находится в промежутке от 5 до 20.

3) наличие ресурсов – влияет на определение верхней границы количества экспертов;

Строго говоря, верхнюю границу количества экспертов определяет общее число специалистов в области исследуемой проблемы, которых можно привлечь к исследованию. Поэтому вначале составляют список таких специалистов, а затем уже корректируют его, исходя из имеющихся ресурсов и других соображений.

При составлении списка можно использовать так называемый метод "снежного кома" [А.И.Орлов, http://sociologi.narod.ru/metod/ex.html], при котором вначале обращаются к специалистам, с которыми имеются связи у РГ, затем от каждого из них получают в виде списка еще несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. К новым лицам обращаются с просьбой составить аналогичный список. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. Желательно, чтобы эксперты, привлекаемые на первом этапе, принадлежали к различным научным группам, школам. В противном случае метод может привести к тому, что все привлеченные эксперты будут принадлежать к одному и тому же научному кругу, соответственно, все мнения, выходящие за рамки этого круга, останутся неучтенными в ходе экспертизы.

4) характеристики самих экспертов – это наиболее важный фактор, как уже упоминалось ранее, все остальные факторы необходимо учитывать во взаимодействии с ним.

Так, наличие высококвалифицированного универсального специалиста может несколько снизить требования, связанные с широтой проблемы. Качественный состав экспертов в значительной степени влияет также и на достоверность оценок, и а на анализ наличия ресурсов - привлечение специалиста с более высокой квалификацией может потребовать больших затрат, но при этом, возможно удастся получить достоверную оценку с использованием меньшего количества экспертов. Привлечение специалистов с более высокими коммуникативными характеристиками положительно повлияет на эффективность работы группы, и т.п. Таким образом, можно привести большое количество примеров взаимовлияния качественного и количественного составов группы экспертов.

ЛЕКЦИЯ 9

Остановимся более подробно на вопросах качественной характеристики экспертов. Основные свойства, которыми должен обладать эксперт, уже перечислялись ранее – это:

1) определенный уровень компетентности;

2) ассоциативность, нестереотипность и нетривиальность мышления (креативность мышления, способность к решению творческих задач);

3) интеллектуальная раскованность;

4) конструктивность мышления;

5) самокритичность и

6) коммуникабельность;

7) кроме того, оценивают также отношение специалиста к экспертизе (поскольку оно может повлиять на его экспертную оценку). В самом деле, отношение эксперта к проводимому исследованию может колебаться от откровенно халатного (как к пустой формальности) до чрезмерно заинтересованного. В первом случае логично предположить, что он не использует в достаточной мере свои способности, а в последнем – что он будет пристрастен, постарается дать такую оценку, которая будет отвечать не объективной реальности, а его личным интересам (например, если владельцу фирмы предлагается оценить ее же рейтинг). Существует и большое число промежуточных градаций.

Традиционно наибольшее внимание уделяется оценке компетентности.

Дата добавления: 2014-01-04