Обробка експертних оцінок

Обробка експертних оцінок при груповій експертизі має специфіку в залежності від характеру інформації, що виражає переваги експертів і змістовне обґрунтування своїх переваг, цілей, призначення й інших факторів проведеної експертизи і полягає в наступному:

• визначенні узагальненої оцінки досліджуваних чи об'єктів розглянутого об'єкта по ряду властивостей, показників і відносної їхньої значимості;

• оцінки погодженості і залежності думок експертів;

• оцінки вірогідності отриманих розрахункових величин.

Метою обробки експертних оцінок є одержання узагальнених даних по досліджуваних об'єктах, аналіз яких дозволяє одержувати додаткову інформацію про особливості процесу оцінки, що дозволяє формулювати висновки про якість проведеної експертизи і причини можливих розбіжностей думок коаліцій експертів.

Визначення узагальненої оцінки досліджуваних об'єктів здійснюється при груповій експертній оцінці на основі застосування методів усереднення індивідуальних оцінок експертів з урахуванням припущення про те, що вони є досить точними «вимірниками» і їхньої оцінки утворять одну чи кілька компактних груп. Алгоритми одержання узагальненої оцінки залежать від застосовуваних різновидів методів суб'єктивного виміру експертами переваги оцінюваних чи об'єктів їхніх властивостей. Якщо результати застосовуваних методів суб'єктивних вимірів являють собою чи числа бали, то побудова групової оцінки полягає у визначенні середнього значення (математичного чекання) чи медіани (найбільш ймовірної оцінки). В іншому випадку, якщо результати являють собою ранги, то задачею обробки є побудова узагальненого ранжирування об'єктів на підставі найкращого способу узгодження індивідуального ранжирування.

Упорядкувавши отримані результати узагальнених оцінок об'єктів по убуванню їхньої значимості можна судити про їхню відносну важливість. Додатковими показниками, що уточнюють відносну важливість досліджуваних об'єктів, є: частота вищих (максимально можливих) оцінок для об'єкта, сума рангів об'єкта.

Кількісна оцінка погодженості думок експертів необхідна в тому випадку, якщо думки експертів розходяться по розглянутих об'єктах для більш обґрунтованої інтерпретації їхньої розбіжності. При цьому, індивідуальні оцінки розглянутого об'єкта, висловлені експертами, представляються у виді крапок у деякому просторі. Використовуючи поняття компактності можна трактувати ступінь погодженості думок експертів, те якщо зазначені оцінки розташовані на невеликій відстані друг від друга, утворити компактну групу, то можна говорити про гарну погодженість думок експертів, інакше — про невисоку. Якщо оцінки експертів утворять у просторі дві чи більш компактні групи, то це означає, що в експертній групі існують відповідні коаліції з істотно відрізняються точками зору на оцінку об'єктів. Для оцінки погодженості думок експертів використовуються різні суб'єктивні методи виміру, результатами яких можуть бути числа, чи бали ранги, а також різні міри ступеня погодженості (наприклад, мірою погодженості оцінок експертів може бути відношення середнєквадратичного відхилення до математичного чекання випадкової величини; сума відстаней оцінок від середнього значення, віднесена до відстані математичного чекання від початку координат; кількість крапок, розташованих у радіусі середнєквадратичного відхилення від математичного чекання до всієї кількості крапок і т. д.).

Як показники ступеня погодженості думок експертів застосовують: коефіцієнт варіації, коефіцієнт парної рангової кореляції (Спирмена чи Кендалла), коефіцієнт конкордації (дисперсійний чи ентропійний).

Для оцінки ступеня погодженості думок усієї групи експертів у цілому застосовується коефіцієнт конкордації. Коефіцієнт конкордації визначається в наступній послідовності: спочатку обчислюється середнє арифметичне сум рангів оцінок всіх об'єктів, потім обчислюються відхилення суми рангів оцінок d_j (j=1,…,n;n–кількість оцінюваних об'єктів), отриманих кожним об'єктом від середнього арифметичних. Після цього підраховуються показники T_i зв'язкових (рівних) рангів рангових оцінок, призначених i-м експертом, на підставі чого розраховується коефіцієнт конкордації:

де m₁ — кількість експертів, що оцінили хоча б один об'єкт.

Коефіцієнт конкордації змінюється в межах від 0 до 1. Збільшення значення коефіцієнта конкордації відповідає збільшенню ступеня погодженості думок експертів. Невелике значення коефіцієнта конкордації може бути обумовлено або дійсне невисоким ступенем погодженості думок експертів, або існуванням груп з високою погодженістю протилежних думок.

Оцінки об'єктів, одержувані в результаті обробки експертних оцінок являють собою випадкові величини. Тому необхідно оцінювати надійність (вірогідність, рівень значимості) результатів експертизи. Для визначення рівня значимості використовується так називаний критерій згоди «хі-квадрат Пирсона»[48].

Дата добавления: 2014-11-06