Методи оцінювання компетентності експерта

Якість експертизи суттєво залежить від кваліфікації та компетентності експертів. Якщо щодо суперечностей в оцінках одного експерта можна стверджувати, що коли їх забагато, то компетентність експерта під сумнівом (хоча обернене твердження не є таким – якщо експерт абсолютно не має суперечностей, то також не можна вважати його компетентним), то щодо узгодженості оцінок кількох експертів остаточні висновки робити слід дуже обережно. Це й зрозуміло. Якщо, наприклад, промислова група має свої інтереси щодо розширення виробничих потужностей, то в експерта з екології може бути цілком протилежна думка, і жоден метод проведення експертиз не зменшить цю суперечність, а, скоріше за все, поляризує її.

Тому широко застосовують такі методи математичного опрацювання результатів експертного оцінювання, як перевірка несуперечливості експерта й узгодженості оцінок експертів (або класифікація експертів, якщо немає узгодженості).

Оскільки відповіді експертів у багатьох процедурах експертного опитування – це не числа (градації якісних ознак, ранжування, розбиття, результати попарних порівнянь, нечіткі переваги та ін.), то для їх аналізу використовуються методи статистики нечислових об’єктів.

Експерт може порівняти два об’єкти, сказати, який із них кращий (метод попарних порівнянь), оцінити їх як «хороший», «прийнятний», «поганий», також упорядкувати декілька об’єктів за привабливістю, але зазвичай не може відповісти, в скільки разів або наскільки один об’єкт кращий за інший. Інакше кажучи, відповіді експерта зазвичай виміряні в порядковій шкалі.

Поширена помилка полягає в тому, що відповіді експертів прагнуть розглядати як числа, «оцифровують» їхні міркування, приписуючи їм числові значення – бали, які потім опрацьовують за допомогою методів прикладної статистики як результати звичайних фізико–технічних вимірювань. За довільного «оцифровування» висновки, отримані в результаті обробки таких даних, далекі від реальності. У зв’язку з «оцифровуванням» доречно пригадати класичну притчу про людину, яка шукає втрачені ключі під ліхтарем, хоча загубила їх у кущах. На запитання, чому вона так робить, та відповідає: «Під ліхтарем світліше!» Це, звичайно, так, але ймовірність знайти втрачені ключі саме там дорівнює нулю.

Зрозуміло, що міркування й оцінки різних експертів різняться. Важливо зрозуміти, наскільки суттєва ця відмінність. Якщо вона незначна, то усереднення оцінок експертів дає змогу виділити те спільне, що є у всіх експертів, відкинувши випадкові відхилення в той або інший бік. Коли ж зазначена відмінність велика, усереднення буде чисто формальною процедурою. Так, якщо уявити собі, що відповіді експертів рівномірно покривають поверхню бублика, то формальне усереднювання вкаже на центр дірки від бублика, а такої думки не дотримується жоден експерт.

Тому, при організації експертного опитування слід додержуватися такої рекомендації: не потрібно прагнути отримати від експерта відразу ранжування чи розбиття; йому важко зробити це, та й наявні математичні методи не дають змогу далеко просунутися в аналізі подібних даних. Експертові набагато легше на кожному кроці порівнювати лише два об’єкти, і це підтверджують результати непараметричної теорії попарних порівнянь. Зокрема, замість гіпотези про рівномірний розподіл доцільно розглядати гіпотезу однорідності, тобто замість перевірки на збіжність всіх розподілів з одним фіксованим (рівномірним) розподілом перевіряти лише збіжність розподілів тверджень експертів між собою, що природно трактувати як узгодженість їх думок. Так можна вдається позбутися неприродного припущення про рівномірність.

Зупинімося детальніше на проблемі оцінювання компетентності окремого експерта, зосередивши увагу на несуперечливості його міркувань. Суперечливість тверджень експерта виявляється насамперед у порушенні транзитивності. Будемо вважати, що чим більша частина суперечливих тверджень у експерта, тим він є менш компетентним. Для оцінювання несуперечливості використовують коефіцієнт несуперечливості

де h – кількість суперечливих тверджень, h _max – максимально можлива кількість суперечливих тверджень при попарному порівнянні множини можливих альтернатив А = { х ₁,..., х_n }. Значення k = 0 відповідає повній суперечливості, k = 1 – повній узгодженості оцінок експерта.

Розглянемо випадок попарних порівнянь альтернатив за перевагами. Нехай експерт реалізує n (n – 1)/2 попарних порівнянь, вказуючи при цьому для кожної пари альтернатив кращу. Результати опитування подамо у вигляді матриці Р = || р_ij ||, де

Для класифікації відповідний елемент матриці дорівнює 1, якщо альтернативи належать до одного класу, і 0 – в іншому випадку.

Повні орієнтовані графи, за допомогою яких можна подати результати попарних порівнянь у разі оцінювання переваг, називаються турнірами. Суперечливість тверджень експерта зумовлює утворення в турнірі циклів, причому цикли з довільною довжиною завжди містять у собі цикл довжиною 3, тобто з трьох дуг. Саме наявність таких циклів у турнірі означає, що у твердженнях експерта є суперечності. Тому кількість таких циклів є характеристикою несуперечливості експерта. Відомі також формули для обчислення значення h _max:

Щоб отримати значення h, використаємо значення елементів матриці емпіричного відношення Р = || р_ij ||. Спочатку обчислимо значення сум у рядках матриці як вектор

Доведено, що у цьому випадку

або після спрощень

У тому випадку, коли експерт може вказати не лише кращу з пари альтернатив, що порівнюються між собою, а й пари рівноцінних альтернатив, обчислення дещо ускладнюються, тому що можливі такі порушення транзитивності:

Відповідні кількості порушень транзитивності для цих трьох випадків обчислимо за формулами

де

Натомість максимальна кількість порушень транзитивності становитиме

І нарешті, значення коефіцієнта несуперечливості дорівнюватиме

Отже, для емпіричних (тобто побудованих експертом) бінарних відношень можна оцінити ступінь суперечливості тверджень експерта. Дещо інший підхід до обчислення аналогічних величин, пов’язаний із результатами імітаційного моделювання, застосовано в методі аналітичної ієрархії. У цьому методі процедуру опитування експерта організовано так, щоб отримати узгоджене мультиплікативне метризоване відношення, і послідовність експерта оцінюють за допомогою коефіцієнта та відношення узгодженості.

Дата добавления: 2014-01-05