Подбор экспертов. Проблема повышения надежности экспертных оценок

Проблема повышения надежности экспертных оценок

Надежности экспертных оценок

В связи со столь разнообразными ситуациями, в которых осуществляется экспертиза, и различными объектами изучения перед теми, кто ее организует, возникает проблема, как сделать так, чтобы результат экспертизы заслуживал доверия.

Как указывалось выше, суть экспертных процедур - получение некоторого суждения, основанного на опыте и компетентности эксперта. Но любой такой эксперт – прежде всего, человек, не лишенный пристрастий, сложившихся взглядов, предубеждений, не всегда им рефлексируемых. Никто в связи с этим не застрахован от влияния субъективных факторов на формирование мнения экспертов в рамках поставленной перед ними задачи. Таким образом, чтобы повысить надежность оценки экспертного прогноза, существует необходимость снизить влияние субъективных факторов. Решение этой задачи достигается комплексом мер, включающим:

♦ подбор экспертов;

♦ комплектование экспертной группы;

♦ выбор конкретной процедуры экспертизы;

♦ оптимальную организацию самой экспертной деятельности.

Одним из существенных условий, способствующих повышению надежности экспертных оценок, даваемых социальным объектам, является научно обоснованный отбор и формирование экспертной группы. Для этого необходимо осуществить отбор лиц, обладающих некоторыми значимыми для выполнения этой деятельно­сти качествами. К таким качествам обычно относят надежность, обусловленную профессиональной компетентностью, квалиметрической компетентностью и са­мооценкой, заинтересованность, деловитость и объективность.

Квалиметрическая компетентность подразумевает знание методов оценки, умение пользоваться различными типами оценочных шкал, различая при этом большое число градаций.

Оценка специалистами своей компетентности существенно влияет на точность уже их экспертных суждений. Так, выявлено, что эксперты с высокой самооцен­кой ошибаются в своих вердиктах при проведении экспертизы меньше других. Заинтересованность специалистов в результатах экспертизы определяется мно­гими факторами: возможностью использовать полученные результаты, загружен­ностью эксперта, целями экспертизы, характером выводов, которые могут быть сделаны, индивидуальными особенностями субъекта.

Объективность эксперта подразумевает, что тот не допускает сознательного смещения оценок в выгодную для себя сторону. Деловитость эксперта обеспечи­вается его собранностью, способностью переключать внимание, что позволяет бы­стро переходить с оценки одного показателя на оценку другого, умением мотиви­ровать выносимые суждения.

Для некоторых процедур аттестации персонала важным показателем являет­ся деловая коммуникативная близость эксперта с оцениваемым. При прочих положительных условиях, чем прочнее эта близость, тем точнее оценки.

Наличие у экспертов некоторых неадекватных установок, которые не всегда осознаются ими самими, приводит к заметному искажению оценок, поскольку возникают следующие типы ошибок:

♦ «ошибки великодушия» как проявление тенденции фиксировать внимание только на социально одобряемых образцах поведения или положительных качествах;

♦ «ошибки центральной тенденции» как следствие либо низкой самооценки, либо установки избегать крайних суждений;

♦ «ошибки по аналогии или контрасту со своими качествами и способами по­ведения»;

♦ «упрощение задачи»: оценивая, эксперт задействует лишь часть критериев или их упрощает;

♦ «иллюзия контроля», возникающая при игнорировании проявления мало­вероятных взаимосвязей и факторов;

♦ ошибки по причине несерьезного, недостаточно внимательного отношения к самой процедуре экспертизы.

Отсев лиц, склонных к подобного рода искажениям, из числа претендентов на роль эксперта, осуществляется либо по данным пробной экспертизы, либо на ос­нове специальных опросников, как это делается при определении уровня самооценки эксперта и его коммуникативной близости к оцениваемому.

Как мы уже указывали, выявлена зависимость между групповой самооценкой экспертов и их средней групповой ошибкой. Если группа кандидатов в эксперты представлена двумя подгруппами, одна из которых характеризуется более высо­кой самооценкой, чем группа в целом, а другая более низкой, то первая дает более точные, а вторая менее точные, чем группа в целом, оценки. Все это обусловлива­ет отбор экспертов в соответствии с уровнем их самооценки по данному виду де­ятельности.

Еще одну интересную особенность в деятельности экспертов, оценивающих целесообразность тех или иных профессиональных действий в конкретных проблем­ах ситуациях, отметил А. Г. Шмелев. Опираясь на данные А. А. Потапкина, он указал на связь между согласованностью/точностью оценок экспертов и их профессиональной компетентностью. Наиболее высокий уровень согласованности наблю­дался у средних по уровню профессиональной компетентности специалистов, а наименьший - у представителей полярных групп. На основании этих данных делается вывод о том, что «первоначальное накопление компетентности сводится к освоению определенных шаблонов, сближающих операциональные категориальные системы, а дальнейшее накопление профессионализма приводит к определенной диверген­ции - формированию индивидуального стиля».

Следует отметить, что в организационной практике достаточно часто встречаются ситуации, когда профессионалы высокого уровня привлекаются для того, чтобы оценить целесообразность действий конкретных лиц в проблемных ситуациях - например, аварийных. Аналогичным образом они участвуют в составлении примерного алгоритма действий специалиста (инструкций) при определенных обстоятельствах. И в том, и в другом случае рассмотренная тенденция к увеличению рассогласованности выбранных вариантов действий в связи с ростом профессионализма может создать дополнительные сложности в экспертном вза­имодействии специалистов подобного уровня.

Дата добавления: 2014-01-07