Формування правил визначення сумарних оцінок на основі оцінок окремих експертів

Раціональне використання інформації, що отримується від експертів, можливе при умові перетворення її в форму, зручну для подальшого аналізу, направленого на підготовку і прийняття рішень.

Існує декілька способів використання групи експертів. Один з них (метод узгодження оцінок) полягає в тому, що кожний експерт дає оцінку незалежно від інших, а потім за допомогою певних прийомів ці оцінки об'єднуються в одну узагальнену (узгоджену).

Наприклад, якщо мова йде про імовірність настання ризикової події (р) і і-й експерт вказує для цієї імовірності число р_і, то найпростіший спосіб отримання узагальненої оцінки складається в обчисленні середньої імовірності:

_m

р = å р_i / m

ⁱ⁼¹

де m - число експертів, що беруть участь в експертизі.

У методі "Дельфі", як узагальнена думка, приймається медіана оцінок останнього туру опиту експертів.

Можна розрахувати і середньовиважене значення імовірності, якщо спробувати врахувати вагу (компетентність) самого експерта, яка визначається на основі попередньої діяльності (кількість вірних відповідей до загальної кількості), або на основі інших методів - "самооцінка" експертом своїх знань в області заданих питань, кваліфікація, посада, вчене звання і т.ін.

^m

å р_ih_i

p₁h₁+p₂h₂+....+p_mh_m i=1

р = =

h₁+h₂+....+h_m ^m

å h_i

i=1

де h_i - вага, що приписується і -му експерту.

Існують різні прийоми оцінки компетентності експерта, вибір яких визначається як характером задачі, що вирішується, так і можливостями проведення конкретного експертного опиту.

У загальному випадку значення ваги, що приписується і -му експерту інтерпретуються як імовірність завдання ним достовірної оцінки.

У цьому випадку: 0 < h_i £ 1.

У залежності від специфіки експертного опиту, об'єкта дослідження і методики обробки експертних даних, що використовується, оцінки, що даються експертами, можуть мати різну шкалу вимірювання: від 0 до 1, від 0 до 10, від 0 до 100. Так, відома нам експертиза визначення індексу БЕРІ для оцінки ризику країни використовує шкалу від 0 до 100 балів. Разом з тим, принципової різниці в шкалах вимірювання немає, вибір тієї або іншої з них багато в чому визначається смаком дослідника, що проводить експертний опит. Прийнята шкала вимірювання може в деякій мірі вплинути на вибір методів аналізу і обробки думок експертів.

Аналіз і обробка експертних оцінок.

При проведенні аналізу зібраних експертних даних відповідно до цілей дослідження і прийнятих моделей, необхідно надати інформацію, отриману від експертів у вигляді зручному для прийняття рішень (упорядити об'єкти - варіанти, показники, чинники і т.ін.), а також визначити узгодженість дій експертів і вірогідність експертних оцінок.

Так, наприклад, виявлені в процесі якісного аналізу ризики необхідно подати в порядку їх важливості (міри можливого їх впливу на рівень втрат), або варіанти зниження ризику - в порядку їх переваги і т.ін.

Існує ряд методів упорядкування кожний з яких має свої переваги і недоліки, а також область ефективного застосування. Найбільш поширеними з них є: ранжирування, безпосередня оцінка, послідовне порівняння, парне порівняння.

Важливим моментом експертних процедур є оцінка узгодженості дій експертів і вірогідність експертних оцінок.

Як відмічалося, існуючі способи визначення вірогідності експертних оцінок засновані на припущенні, що у випадку узгодженості дій експертів вірогідність оцінок гарантується.

Найбільш часто для цих цілей використовують коефіцієнт конкордації (злагоди), величина якого дозволяє судити про міру узгодженості думок експертів і, як наслідок, вірогідність їх оцінок.

Коефіцієнт конкордації визначається з виразу:

s²_ф

W =,

s²_max

де:: s²_ф - фактична дисперсія сумарних (впорядкованих)

оцінок, даних експертами;

s² _max - дисперсія сумарних (впорядкованих) оцінок, в

випадку, коли думки експертів повністю співпадають.

Величина коефіцієнта конкордації може змінюватися в межах від 0 до 1. При W = 0 узгодженості немає, тобто зв'язок між оцінками різних експертів відсутній. При W = 1 - узгодженість думок експертів повна.

Для прийняття рішення про використання отриманих від експертів оцінок необхідно, щоб коефіцієнт конкордації був більше заданого (нормативного) значення W_н (W > W_н). Можна прийняти W_{н =} 0,5. Вважається, що при W > 0,5 дії експертів в більшій мірі узгоджені, ніж не узгоджені.

Визначення коефіцієнта конкордації розглянемо на наступному спрощеному прикладі. Нехай в процесі якісного аналізу виявлені п'ять видів ризику, яким може підлягати проект в процесі його реалізації. Перед експертами стоїть задача проранжирувати ці ризики (представити в порядку їх важливості) по мірі можливого їх впливу на рівень втрат.

Результати оцінок цих ризиків чотирма експертами представлені в табл. 5.1.

Таблиця 5.1 Визначення рангів важливості ризиків

Ризики   Эксперти
Сумарний ранг важності

При повністю узгодженій думці експертів кожний з них першому виду ризику дав два бали, другому - один, третьому - чотири, четвертому - три, п'ятому - п'ять. У цьому випадку сумарний ранг важливості ризиків склав би відповідно 8, 4, 16, 12 та 20 балів.

Відомо, що середнє значення сумарної оцінки для m об'єктів, що призначаються n експертами, складає ¹/₂ n (m +1) і в прикладі, що розглядається, середнє значення складає - 12.

Тоді:

s²_ф = (8-12)² + (6-12)² + (16-12)² + (11-12)² + (19-12)² = 118

s² _max = (8-12)² = (4-12)² + (16-12)² + (12-12)² + (20-12)^{2 =} 160

W = = 0,7375

Таким чином, думки експертів можна вважати в достатній мірі узгодженим.

У загальному випадку коефіцієнт конкордації визначається з виразу:

_{m n 2 m 2}

S { Sa _ij - n(m+1)} S{a _i - n (m+1)}

s²_ф ^{i=1 j=1 i=1}

W = = =

s²_max n² m (m²-1) n² m (m²-1)

де: а _{ij -} оцінка, що привласнюється i -му об'єкту j- м експертом;

а _{i -} сумарна оцінка, отримана i - м об'єктом;

m - кількість об'єктів, що оцінюються;

n - кількість експертів.

Використовуються також критерії, які дозволяють оцінити імовірність того, що узгодженість експертів не була результатом випадкових варіацій їх думок.

Суть методів упорядкування, а також оцінки узгодженості думок експертів і міри їх вірогідності досить повно викладені в [ 8; 15 ].

Якщо відповідно до прийнятих критеріїв думки експертів можна вважати узгодженими, то дані ними оцінки приймаються і використовуються в процесі підготовки і реалізації управлінських рішень.

Якщо отримані оцінки не можна вважати достовірними, потрібно повторити опит наново. Якщо і це не дає бажаних результатів, потрібно уточнити початкові дані та (або) змінити склад групи експертів.

Тут потрібно відмітити важливу роль організаторів експертизи, в задачі яких входять: постановка проблеми, визначення цілей і задач експертизи, її границь і основних етапів; розробка процедур експертизи, в найбільшій мірі відповідної характеру проблеми, що вирішується; відбір експертів, перевірка їх компетентності і формування груп експертів; проведення опиту і узгодження оцінок; формалізація отриманої інформації, її обробка, аналіз і інтерпретація.

Від правильної організації експертизи значною мірою залежить ефективність результатів, отриманих за допомогою експертних оцінок, в т.ч. і вірогідність цих оцінок.

Дата добавления: 2014-01-03