Методы оценки качества эксперта

Для проведения экспертиз должны быть отобраны компетентные эксперты, хорошо знакомые с предметом экспертизы, обладающие достаточным опытом, способные выносить обоснованные объективные суждения. Используются следующие методы оценки качества экспертов:

1. Документационный метод. Он предполагает оценку качества экспертов на основании таких документальных данных, как число публикаций и ссылок на работы эксперта, учёная степень, стаж, занимаемая должность и т. д.

2. Тестовый метод предполагает отбор экспертов на основании решения ими тестовых задач, в которых отражена специфика предмета экспертизы. В качестве тестов могут рассматриваться результаты участия экспертов в аналогичных экспертизах.

3. Достаточно часто используются методы взаимооценки и самооценки экспертов. Взаимооценка осуществляется как правило двумя способами. В 1-ом — каждый предполагаемый член экспертной комиссии оценивает компетентность, объективность и т. д. предполагаемых экспертов (например, заполняет анкету с вопросами по 5-ти бальной шкале.) Во 2-ом — оценку качества предполагаемых экспертов осуществляет аналитическая группа, которой поручена организация и проведение экспертизы. При самооценке, определение степени знакомства с предметом и компетентность и т. д. осуществляется самим экспертом (например, он получает анкету с вопросом: «как вы считаете, насколько вы знаете...» и он оценивает свои знания по 5-ти бальной шкале).

4. Оценивают непротиворечивость суждений экспертов. Т.е. эксперт может считать, что а₁а₂, а₂а₃, но а₃а₁ (хотя надо помнить, что противоречивость может не зависеть от эксперта). Чтобы определить степень непротиворечивости, наряду с числом g высказанных экспертом противоречивых суждений, необходимо определить максимально возможное число g_max противоречивых суждений при каждом сравнении всех возможных альтернатив. Коэффициент непротиворечивости h, (коэффициент совместности), определяется по формуле: h=1- (g/g_max).

4. Оценка степени конъюнктурности эксперта. В условиях ограниченного числа экспертов, к участию в экспертизе приходится привлекать специалистов, небезразличных к результату оценки тех или иных альтернатив, например, он работает в организации, которая при определенных результатах экспертизы может получить некоторую выгоду.

5. После проведения экспертизы оценивают согласованность экспертов. Коэффициенты ранговой корреляции оценивают согласованность ранжирований альтернатив двумя экспертами, коэффициенты конкордации — согласованность ранжирований всех членов экспертной комиссии, либо её части.

Дата добавления: 2014-01-13