Оцінка якості експерта: апріорні, апостеріорні, тестові методи оцінки експерта

Суть експертного аналізу.

ЛЕКЦІЯ-3.

3.1. Оцінка якості експерта

Існують різні визначення терміна "експерт". Найчастіше використовується визначення типу ''експерт - висококваліфікований фахівець". Більше повне визначення наведене в роз. 1.1. При оцінці ефективності участі експерта в керуванні необхідно оцінювати насамперед його реальну роль у практичній управлінській діяльності. Тому приведемо визначення, що дозволяє дати таку оцінку.

Експерт ~ особа, що ЛПР або провідній експертизі аналітична група вважає професіоналом досить високого рівня для оцінки об'єкта експертизи або підготовки рішень, чиї судження враховуються при прийнятті рішень.

Дамо деякі пояснення. Чому "особа, що ЛПР або провідній експертизі аналітична група вважає професіоналом досить високого рівня для оцінки об'єкта експертизи або підготовки рішень"? Так тому, що в цей час не існує практики єдиної загальновизнаної оцінки якості експерта, що могла б використатися керуванням. Тому думки про професійний рівень фахівця різних ЛПР і аналітиків нерідко істотно відрізняються.

Ми особливо підкреслимо той факт, що в реальній практиці ЛПР прагне або скласти свою думку про професійний рівень кандидата в експерти, або довіряє це тим, кому доручена організація експертизи або підготовка управлінського рішення.

Природно, наприклад, що думки починаючого терапевта й всесвітньо відомого фахівця в області кардіології, як правило, непорівнянні за рівнем точності дає оцінки, що, стану хворого й рекомендацій про дії, які необхідно почати в досить складній ситуації. Однак, якщо необхідно терміново надати допомогу хворому, а фахівець високого професійного рівня не може бути по тій або іншій причині запрошений для ухвалення рішення про конкретні заходи для його лікування, шляху лікування визначаються й реалізуються менш досвідченим фахівцем. У цій ситуації в ролі експерта виявляється саме він.

Таким чином, формування складу експертної комісії залежить і від конкретної ситуації ухвалення рішення, і від можливостей організаторів експертизи забезпечити участь у роботі експертної комісії висококваліфікованих фахівців, і від можливостей фахівців взяти участь у роботі експертної комісії. Тому при відсутності можливостей і досвіду організації -і проведення експертиз має сенс звертатися до послуг незалежних центрів експертизи, що володіють необхідними можливостями й досвідом організації й проведення експертиз у що цікавить ЛПР області діяльності.

Якщо необхідність у проведенні експертиз виникає регулярно, питання, по яких повинні прийматися рішення, важливі, то виникає необхідність у створенні спеціалізованих центрів організації й проведення експертиз, ситуаційних центрів і кімнат, інформаційно-аналітичних центрів і т.д. Основні завдання такого роду центрів — аналіз ситуації, оцінка об'єктів експертизи, підготовка й оцінка альтернативних варіантів рішень.

Якщо практика формування й актуалізації банків даних про експертів у різних областях, де потрібно прийняти досить важливих рішень, а також практика загальновизнаної регулярної оцінки експертів (можливе визначення їхнього рейтингу) одержить достатнє поширення, те худа визначення терміна "експерт" може бути відповідним чином скоректовано.

У цей час нам відомі факти формування банків даних про фахівців у різних областях, однак систематична оцінка їхньої якості практично відсутній, а тим більше оцінка, що могла б бути визнана в досить широкому колі ЛПР і аналітиків, що організують і використовують результати експертиз.

Відзначимо, що при оцінці якості експерта, поряд з оцінкою професійних знань і досвіду, повинна враховуватися також оцінка ефективності його роботи в складі експертних комісій. Оскільки, навіть маючи достатні знання й досвідом, експерт може недостатньо чітко розуміти мети й завдання експертизи, змістовний зміст необхідних оцінок, він може недостатньо точно аргументувати свої судження, не говорячи вже про можливу суперечливість оцінок експерта При тодішніх оцінках об'єктів експертизи, можливій наявності кон'юнктурних інтересів і т.д.

Чому визначення терміна "експерт" закінчується наступними словами: "чиї судження враховуються при прийнятті рішень"? Тому що ухвалення остаточного рішення — прерогатива ЛПР. А оскільки нерідко ЛПР не є фахівцем досить високого рівня у всіх областях, у яких їм приймаються рішення, не має всю необхідну інформацію для цього, оцінки й судження експертів використовуються для того, щоб підвищити ефективність прийнятих рішень. Вони дозволяють також уникнути очевидних для професіоналів помилок, зробити рішення більше обґрунтованими й продуманими. Це особливо важливо при прийнятті відповідальних рішень, які можуть вплинути як на об'єкт керування, так і на наступну діяльність ЛПР.

Як справедливо відзначив Дж. Мартіно, формування експертної комісії - найважливіше рішення, прийняте керівником при організації й проведенні експертизи. Зусилля, часом значні, затрачувані на формування експертної комісії, що задовольняє пропонованим до неї вимогам, як правило, повністю виправдуються.

Але що значить експертна комісія, що задовольняє пропонованим до неї вимогам? Під такою експертною комісією ряд авторів розуміє комісію, що складається з висококваліфікованих експертів. Однак ми разом з іншою групою авторів уважаємо, що експертною комісією, що задовольняє пропонованим до неї вимогам, є комісія, що не тільки складається з висококваліфікованих експертів, але й добре підібрана й організована для рішення поставлених перед нею завдань, тобто, скажемо, при проведенні експертизи складного об'єкта керування повинні бути обов'язково представлені фахівці з основних областей, що підлягають експертній оцінці.

Розглянемо спочатку проблему визначення якості експерта. Існує досить багато способів його оцінки, кожний з яких може бути вдало використаний у тім або іншому конкретному випадку. Вони підрозділяються на апріорні, апостеріорні й тестові. Нагадаємо основні визначення й методи, використовувані при оцінці якості експерта.

Методи оцінки якості експерта, при яких не використовується безпосередньо інформація про результати його участі в попередніх експертизах, називаються апріорними.

Методи оцінки якості експерта, при яких використовується інформація про результати його участі в попередніх експертизах, називаються апостеріорними.

Методи оцінки якості експерта, що припускають проведення спеціального тестового експерименту, називаються тестовими.

Апріорні методи оцінки якості експерта. Серед них слід зазначити насамперед досить розповсюджені методи самооцінки. До їхнього числа ставляться методи самооцінки з використанням бальних, вербально-числових і вербальних шкал, а також диференціальний метод.

В першому зі згаданих методів експерт робить самооцінку в одній з бальних шкал: 3-, 5-, 10- або 100-бальної. При цьому одна з основних проблем - однакове розуміння експертами градацій шкал.

У другому методі використовуються вербально - числові шкали, що містять поряд із чисельними значеннями градацій їх змістовний опис. У цьому методі проблема однакового розуміння експертами градацій шкали коштує менш гостро.

У третьому методі експерт робить якісну оцінку своїх знань і досвіду. Як і в попередньому методі, шкала самооцінки має змістовний опис градацій шкали.

У диференціальному методі самооцінки використовується, як правило, оцінка по двох групах приватних критеріїв. По-перше, за критеріями, що характеризує знайомство експерта з основними джерелами інформації в даній області (наприклад, з вітчизняною, закордонною, патентною, фірмовою інформацією). По-друге, за критеріями, що характеризує знайомство експерта з об'єктами експертизи (наприклад, зі зразками продукції, результатами соціологічних опитувань про вимоги споживачів до якості продукції й т.д.). У цьому випадку комплексна самооцінка експерта К_к може розраховуватися по формулі

де К_а-: коефіцієнт аргументованості, вимірюваний у частках одиниці; K₃ — коефіцієнт знайомства експерта із проблемою; c — коефіцієнт порівняльної вагомості коефіцієнта K₃ .

Значення коефіцієнта c визначається з урахуванням порівняльної важливості коефіцієнтів аргументованості й знайомства експерта із проблемою. Деякі автори пропонують приймати c — 0,1. Ми ж утримаємося від такої рекомендації, уважаючи, що значення коефіцієнта з повинне визначатися з урахуванням специфіки об'єкта експертизи.

З одного боку, ніхто краще самого експерта не представляє сукупність знань і досвіду, якими він володіє. З іншого боку, людина найбільше помиляється, оцінюючи власні можливості..

Досить велика кількість робіт присвячена дослідженню методів самооцінки експерта. Ряд авторів відзначають підтверджений експериментами факт, що вірогідність експертної оцінки вище при більше високих середніх значеннях самооцінки експертів. Це промовляє на користь застосування методів самооцінки.

По даним інших авторів, кореляційна зв'язок між самооцінкою компетентності й індивідуальною помилкою експерта при крапкових експертних оцінках (коли експертом вказується одне число — точка) достатньо слабка, хоча відзначається, що кожний фахівець почуває ступінь точності своєї оцінки й може оцінити свою компетентність.

Є повідомлення про експерименти, що виявили нестабільність самооцінки від тура до тура, іншими словами, їхню недостатню відтворюваність.

До іншої групи апріорних методів оцінки якості експерта ставляться методи взаємооцінки. Найбільш відомі способи взаємооцінки методами під проблем, списку експертів, усереднення.

В основі методу під проблем лежить припущення, що проблема, що є об'єктом оцінки, може бути представлена у вигляді декількох під проблем. Оцінюється ступінь знайомства кожного експерта з кожної з під проблем. На підставі цього розглядається кілька способів визначення вагових коефіцієнтів, що характеризують ступінь знайомства експертів з під проблемами.

Практично процедура взаємооцінки експертів по методу під проблем полягає в тому, що кожний експерт заповнює таблицю, рядки якої відповідають основним під проблемам, а стовпці - оцінюваним експертам. Якщо експерт знаком з під проблемної, то на перетині відповідного рядка й стовпця ставиться знак "+", а в противному випадку - знак "-". При більше детальній взаємооцінці замість знака "+" може ставиться число, що характеризує ступінь знайомства експерта із проблемою.

Взаємооцінка методом списку експертів на відміну від методу під проблем дозволяє одержувати укрупнені оцінки компетентності експертів. Процедура методу полягає у наступному. Кожний з експертів указує список фахівців, яких він уважає експертами в даній області. Коефіцієнт компетентності експерта в цьому випадку розраховується як відношення числа списків, у яких даний експерт знаходиться, до загального числа списків. При взаємооцінці експерти можуть не обмежуватися складанням списку фахівців, а можуть вказувати також ступінь їхнього знайомства з об'єктом експертизи. I

Можливі й більше складні способи розрахунку коефіцієнтів компетентності експерта при використанні методу списку.

При проведенні складних, багаторівневих експертиз допускається оцінка кандидатів в експерти експертами, що ставляться до більше високого ієрархічного рівня по порівняльній складності розв'язуваних проблем і під проблем. Так, наприклад, у методі прогнозованого графа фахівців, здатних вирішувати більше приватні проблеми, оцінює експерт, здатний вирішувати проблеми більше високого ієрархічного рівня.

До числа апріорних методів оцінки якості експерта можна віднести також документаційний метод. Цей метод згадується досить часто. У ньому для оцінки якості експерта пропонується користуватися такими його об'єктивними характеристиками, як стаж роботи, учений ступінь, посада, число публікацій і т.д. Деякі автори вважають за доцільне враховувати й такі фактори, як володіння іноземними мовами, вік, стан здоров'я.

На наш погляд, облік лише одних об'єктивних факторів такого роду не завжди дозволяє адекватно оцінити придатність експерта для участі в роботі експертної комісії, хоча зовсім не враховувати їх при оцінці якості експерта навряд чи було б правильно.

Апостеріорні методи оцінки експерта. У них передбачається використання оцінки результатів його участі в попередніх експертизах. За допомогою апостеріорних методів можуть одержати оцінку й такі фактори, як ступінь каньйон-крутності експерта, ступінь його конформізму, відтворюваність оцінок і т.д.

Приведемо основні з них. В основі оцінки компетентності експерта методом парних порівнянь — використання надмірності одержуваної інформації. Експертові послідовно пред'являються пари порівнюваних об'єктів, і він повинен указати, який із пред'явленої пари об'єктів, з його погляду, більше кращий. Після пред'явлення всіх пар об'єктів в аналітиків виявляється, як правило, дубльована інформація про переваги експерта.

Дійсно, у реальній практиці використання методу парних порівнянь поряд з безпосередньою інформацією про перевазі одного об'єкта перед іншим у розпорядженні аналітиків виявляється непряма інформація про їхню порівняльну перевагу.

Якщо при безпосереднім порівнянні перший об'єкт переважніше другого, другий об'єкт переважніше третього, але в той же час третій об'єкт переважніше першого, то виникає очевидне протиріччя. У реальній практиці таке протиріччя (цикл у графі, що відповідає перевагам експерта) зустрічається не так вуж рідко. Бувають приводячі до протиріччя й більше довгі ланцюжки порівнянь.

Природно, що чим менше протиріч у судженнях експерта, тим він уважається більше компетентним.

Якщо через d позначити число елементарних циклів (протиріч) при парному числі порівнюваних об'єктів п, то коефіцієнт компетентності Y дорівнює

а при непарному п:

При максимально можливому числі елементарних циклів коефіцієнт компетентності Y=0. Якщо ж протиріччя в оцінках експерта відсутні, то Y = 1, тобто значення коефіцієнта компетентності максимально.

Існують і більше тонкі способи розрахунку коефіцієнта компетентності експерта при використанні методу парних порівнянь, у тому числі й статистичному характері.

Метод апостеріорної оцінки вірогідності суджень експерта припускає вірогідність суджень експерта визначати за результатами його участі в попередніх експертизах. Як критерій, що дозволяє оцінювати вірогідність суджень експерта, пропонується розраховувати коефіцієнт вірогідності - відносну частоту випадків, у яких він приписував найбільшу ймовірність подіям, що підтвердилося згодом.

При використанні цього методу прийнято розраховувати також середнє значення коефіцієнта вірогідності для експертної комісії й зіставляти з ним індивідуальні коефіцієнти вірогідності експертів.

Очевидно, що цим методом можна скористатися лише при кількаразовій участі експерта в роботі експертних комісій і наявності актуалізуючого банку експертів.

Метод оцінки якості експертів по відхиленню від результуючої оцінки об'єкта експертною комісією заснований на розрахунку коефіцієнта відхилення K_o.

де K_oi — коефіцієнт відхилення суджень i-го експерта; d_oi — відстань індивідуальної оцінки i-го експерта від результуючої оцінки; d_max — максимально можлива відстань оцінки експерта від результуючої оцінки.

Для розрахунку відстаней можуть бути використані різні формули. Якщо оцінки точкові, то

де О_i — оцінка i -го експерта; O_rez — результуюча оцінка експертної комісії.

Якщо оцінки векторні, то може бути використана Евклідова відстань.

Якщо як оцінки - ранжирування, зважені ранжирування, інтервальної оцінки, класифікації й т.д., то для розрахунку відстаней використовуються відповідні розрахункові формули, які, зокрема, можна знайти в монографії [6] і ін.

Для апостеріорної оцінки якості експерта можуть бути використані й інші методи, наприклад метод власних векторів, коли результати оцінок експертів представлені у вигляді матриці, рядка якої відповідають альтернативним варіантам, а стовпці — експертам, що оцінюють дані варіанти. На перетинанні кожного рядка й стовпця розташовані оцінки, дані відповідному альтернативному варіанту відповідним експертом.

Пропонується ітеративна, як правило, що сходиться процедура розрахунку коефіцієнтів, що характеризують якість експертів, заснована на розрахунку порівняльних оцінок експертів, у межі збіжних до власних векторів матриць XX' і Х'Х з максимальними власними числами, де X — матриця оцінок, X ' — транспонована матриця X.

Тестові методи оцінки експерта. Вони цікаві тим, що широко використовуються при визначенні професійної придатності фахівців у різних областях діяльності. При оцінці експерта тестові методи повинні бути орієнтовані на встановлення, з одного боку, його професійного рівня, а з іншого боку, на визначення в експерта навичок і досвіду, необхідних для ефективної участі в роботі експертних комісій.

Укажемо деякі загальні вимоги, що грають важливу роль при проведенні тестових експериментів:

1. Тест повинен бути розроблений під конкретні об'єкти експертної оцінки. Тільки в цьому випадку тест може стати необхідним інструментом при оцінці професійної придатності експерта для участі в роботі експертних комісій.

2. Результати тестових оцінок експерта повинні відповідати їхнім значенням, відомим аналітикам, проводячим тестовий експеримент, але не відомим експертові.

3. Повинна бути розроблена шкала, що дозволяє визначати ступінь точності оцінок, що дають експертом. Можуть встановлюватися припустимі межі відхилення оцінок.

Однак більше повну оцінку експерта на підставі тестового експерименту можна одержати, визначивши різні ступені відхилення від щирих значень. У спеціально розроблених шкалах вербальні характеристики градацій повинні відповідати ступеню відхилення оцінок експерта від щирих. При необхідності можуть бути зазначені відповідні кількісні діапазони значень градацій шкал.

4. Імовірність випадкового вгадування експертом щирої оцінки в тестовому експерименті повинна бути досить мала

Інтегральний метод тестового оцінювання. Методи визначення компетентності експерта й точності його оцінок на підставі результатів тестового експерименту припускають наступне подання інформації. Об'єктом тестової оцінки є деякий безперервний параметр X, що характеризує об'єкти експертизи. Функція Y=f0(x) (мал.2.2.1) характеризує залежність оцінок, що дають експертом, при зміні значень параметра X

Припустимі відхилення оцінок, що дають експертом, від еталонної залежності в = х лежать в області, обмеженої прямими Z*(х) і Z*(х). Уважається, що саме такий випадок найцікавіший для практики.

Інтервал компетентних оцінок, що дають експертом залежно від значень х є X, має вигляд

а область компетентних оцінок, що дають експертом:

Тоді оцінка компетентності експерта на підставі результатів тестового експерименту розраховується по формулі

де В и А — відповідно максимальне й мінімальне значення оцінної шкали.

Точність оцінки, що дає експертом, для конкретного значення параметра х є X потрібно розраховувати по формулі

а по всій безлічі оцінок — по формулі

Методи тестового оцінювання ефективності використання фахівця як експерта. Ступінь професійного знайомства експерта з об'єктами експертизи позначається насамперед на чутливості його оцінок. Експерт, глибоко знайомий з об'єктами експертизи, як правило, розрізняє набагато більше тонкостей, нюансів при їхній оцінці, чим експерт, знайомий з об'єктами експертизи більш поверхово.

Визначення ступеня чутливості експерта при оцінці об'єктів експертизи може здійснюватися, наприклад, у наступному порядку. Аналітичною групою формується досить повний тестовий набір об'єктів експертизи (альтернативних варіантів), що включає об'єкти, що володіють різною інтенсивністю оцінюваного експертами властивості. Кожний з експертів ранжирує запропонований набір об'єктів по інтенсивності оцінюваної властивості, відносячи до одного рангу об'єкти, з його погляду, практично не помітні по інтенсивності. Ступінь чутливості експерта визначається або зіставленням зазначеного їм ранжирування об'єктів з еталонним, або порівнянням зазначеного їм ранжирування з ранжируваннями, зазначеними іншими кандидатами в члени експертної комісії.

Уміння у великому ступені розрізняти тонкості й нюанси при оцінці об'єктів експертизи не обов'язково приводить до різкого росту числа рангів при ранжируванні об'єктів. Значення має не тільки число рангів при ранжируванні, але й упорядкованість об'єктів по інтенсивності оцінюваного експертами властивості.

Експерт повинен мати необхідний рівень підготовки, що забезпечує можливість його ефективної участі в роботі експертної комісії. Він повинен чітко розуміти мети експертизи й бути підготовленим до виконання експертних процедур, передбачених експертизою. Якщо при проведенні експертизи передбачене ранжирування об'єктів, експерт повинен розуміти зміст цієї процедури впорядкування об'єктів по інтенсивності оцінюваної властивості або їхньої порівняльної переваги.

Якщо передбачено багатокритеріальне оцінювання об'єктів, експерт повинен розуміти значимість оцінки об'єктів по кожному із критеріїв. Якщо при проведенні експертизи необхідно класифікувати об'єкти або визначити різні рівні їхньої переваги (страти), то експерт також повинен розуміти змістовний зміст цих експертних процедур і вміти аналізувати результати автоматизованої обробки експертної інформації.

Уміння працювати безпосередньо з ЕОМ від експерта не потрібно. Необхідний сервіс повинен бути забезпечений організаторами експертизи. Розуміння ж змісту експертних процедур і вміння аналізувати їхні результати й результати всієї експертизи обов'язково.

Аналіз ефективності участі експертів у роботі експертної комісії, погодженості їхніх оцінок і т.д. повинен здійснюватися аналітичною групою.

Для того щоб переконатися в підготовленості експерта до участі в роботі експертної комісії, необхідні відповідні тестові процедури. Їхнє проведення до того ж сприяє кращому розумінню експертами змістовного змісту експертних процедур, у яких їм має бути взяти безпосередню участь.

Відтворюваність експертних оцінок. Ступінь професійного знайомства експерта з об'єктом експертизи характеризується також відтворюваністю оцінок у послідовності тестових експертиз, наближених до експертизи, для проведення якої формується експертна комісія. Тестові експертизи, за допомогою яких визначається відтворюваність оцінок експерта, повинні відстояти друг від друга на час, достатнє для того, щоб експерт забув результати попередньої тестової експертизи. Більше стабільні, а виходить, відтворені оцінки експерта, з одного боку, говорять про більшій його професійну компетентність, а з іншого боку, характеризують його більшу придатність для участі в експертній комісії.

У випадку коли експерти оцінюють чисельні значення деякого показника, відтворюваність опеньок визначається різницею їхніх значень. Якщо ж експерти вказують ранжирування об'єктів іди їхню класифікацію, то відтворюваність оцінок характеризується значеннями міри близькості між ранжируваннями або класифікаціями, отриманими в результаті різних, віддалених за часом друг від друга тестових експертиз.

Оцінка кон'юнктурності експерта. При проведенні експертиз доводиться зіштовхуватися й з такими специфічними проблемами, як підвищення ступеня об'єктивності експертних оцінок. У літературі, присвяченої практичному використанню методів експертного оцінювання, вказується на необхідність брати до уваги специфічні особливості експерта. Зокрема, повинні враховуватися конформізм - зміна оцінок експерта на користь загальноприйнятих або, на його думку, більше авторитетних, психологічні особливості участі експерта в оцінюванні, можливість ефективної роботи експерта в передбачуваних експертних процедурах.

Підвищення ступеня об'єктивності експерта може досягатися в деяких експертизах і за допомогою обліку можливої кон'юнктурності експерта. Справа в тому, що зустрічаються експертизи при обмежених можливостях залучення експертів, об'єктивно не зацікавлених у результаті експертизи. Це приводить до того, що експерти, притягнуті для участі в експертизі, можуть бути прямо або побічно зацікавлені в її результаті.

У цьому випадку доцільне проведення тестових експертиз із заздалегідь відомим об'єктивним результатом експертизи. Якщо ціль експертизи — ранжирування експертами альтернативних варіантів (об'єктів) по порівняльній перевазі, то при проведенні тестової експертизи визначається об'єктивне ранжирування альтернативних варіантів Р_о.

Тоді для кожного експерта може бути розрахований коефіцієнт кон'юнктурності:

де Р_i- — результат ранжирування альтернативних варіантів i-м експертом.

Трохи більш трудомістка процедура тестової оцінки кон'юнктурності експерта припускає апріорне визначення ранжирування альтернативних варіантів P_i^k, у яких зацікавлений і-й експерт. Тоді коефіцієнт кон'юнктурності експерта може бути визначений по формулі

Коефіцієнт кон'юнктурності експерта повинен у цьому випадку враховуватися при виробленні результуючого ранжирування експертної комісії.

Якщо апріорне визначення об'єктивного ранжирування Р_о й ранжирування, у якому зацікавлений i-й експерт, утруднено, то при визначенні коефіцієнта кон'юнктурності експерта може бути замість Р_о використане результуюче ранжирування, отримане після математичної обробки результатів оцінок всіх експертів.

Завершуючи опис тестових методів оцінки експертів, згадаємо й про метод тестового само оцінювання експерта, коли самооцінка експерта виробляється по тестових питаннях.

Проведений експеримент показав, що розподіл само оцінок компетентності експерта жодним з відомих розподілів описати не вдається.

Перспективне використання методів оцінки якості експерта, заснованих на зіставленні результатів самооцінки експертів з результатами їхньої участі в тестових експертизах.

Дата добавления: 2014-01-11