Основні етапи експертного опитування

Розглянемо детальніше окремі етапи експертного опитування. Як показує досвід, із погляду менеджера–організатора такого дослідження доцільно виділяти наступні кроки експертного опитування.

1. Ухвалення рішення про необхідність проведення експертного опитування і формулювання децидентом його мети. Ініціатива має виходити від керівництва; це сприятиме надалі успішному розв’язанню організаційних і фінансових проблем. Очевидно, що початковим поштовхом може бути документ одного з працівників або дискусія, але реальним початком роботи є рішення децидента.

2. Добір і призначення децидентом основного складу робочої групи. Науковий керівник відповідає за організацію та виконання експертного дослідження загалом, а також за аналіз зібраних матеріалів і формулювання висновку експертної комісії. Він бере участь у формуванні колективу експертів і формулюванні завдання кожному експертові. По суті, науковий керівник – висококваліфікований експерт і керівник експертної комісії.

3. Розроблення основним складом робочої групи та затвердження децидентом завдання на проведення експертного опитування. На цьому етапі рішення про проведення експертного опитування конкретизують щодо часу та фінансового, кадрового, матеріального й організаційного забезпечення. Формують робочу групу, у якій виділяють різні підгрупи фахівців: аналітичну, економетричну (фахівців із методів), комп’ютерну, для роботи з експертами (наприклад, інтерв’юерів), організаційну. Для успіху дуже важливо, щоб децидент затвердив усі ці позиції.

4. Розроблення аналітичною підгрупою робочої групи докладного сценарію збирання й аналізу експертних думок (оцінок). Сценарій містить насамперед конкретний вигляд інформації, яку буде отримано від експертів (наприклад, слова, умовні градації, числа, розбиття чи інші види об’єктів нечислової природи). Так, досить часто експертів просять висловитись у вільній формі, відповівши при цьому на певні заздалегідь сформульовані питання. Крім того, їх просять заповнити формальну картку, обравши в кожному пункті одну з декількох градацій. У сценарії мають бути й конкретні методи аналізу зібраної інформації. Цим займаються економетрична та комп’ютерна підгрупи робочої групи. Традиційна помилка полягає в тому, що спочатку збирають інформацію, а потім думають, що з нею робити. Череp це, як показує сумний досвід, інформацію використовують не більше ніж на 1 – 2 %.

5. Обрання експертів відповідно до їх компетентності. На цьому етапі робоча група складає список можливих експертів і оцінює ступінь їхньої придатності для дослідження, яке заплановано реалізувати.

6. Формування експертної комісії. На цьому етапі проводять переговори з експертами, щоб отримати їхню згоду (чи відмову) працювати в експертній комісії, укладають з експертами угоди щодо умов їхньої праці та її оплати.

7. Збирання експертної інформації. Часто перед цим добирають і навчають інтерв’юерів як однієї з підгруп, що входять до складу робочої групи.

8. Комп’ютерний аналіз експертної інформації за допомогою предбачених у сценарії методів.

9. У разі застосування згідно зі сценарієм експертної процедури з кількох турів – повторення двох попередніх етапів.

10. Підсумковий аналіз експертних думок, інтерпретація одержаних результатів аналітичною підгрупою робочої групи та формування підсумкового документа для децидента.

11. Офіційне закінчення діяльності робочої групи, зокрема затвердження децидентом підсумкового документа експертної комісії, підготовка та затвердження звітів про виконання експертного дослідження.

Розглянемо докладніше окремі стадії експертного дослідження. Почнемо з добрання експертів. Ця проблема — одна з найскладніших у теорії та практиці експертних досліджень. Очевидно, що експерти мають допомогти ухвалити адекватне рішення. Залишається запитання: як знайти, добрати таких людей? Зауважимо, що не існує методів добрання експертів, які б гарантували успіх експертизи. У цій проблемі виділяють дві складові: складання списку можливих експертів і добір із них експертної комісії відповідно до компетентності кандидатів.

Скласти список можливих експертів легше тоді, коли експертиза попередньо вже виконувалась багато разів. У таких ситуаціях зазвичай ведуть реєстр можливих експертів (наприклад, у галузі державної екологічної експертизи чи суддівства спортивних змагань), з якого можна добирати експертів за різними критеріями чи випадково.

Що ж робити, коли експертиза перша, і немає сталих списків можливих експертів? Проте і в такому разі кожен конкретний фахівець має якесь уявлення про вимоги до експерта в подібній ситуації. Для формування списку можна застосувати корисний метод «снігової грудки», згідно з яким кожен фахівець–експерт, називає декілька (зазвичай 5–10) прізвищ тих, хто може бути експертом із певної тематики.

Деякі з цих експертів, очевидно, раніше працювали в робочій групі, а інші – ні. Кожного нового експерта опитують за тією самою схемою. Процес розширення списку припиняють, коли вже не зустрічають нові прізвища. У результаті буде отримано достатній список можливих експертів. Метод «снігової грудки» має й вади. Кількість турів до зупинки процесу нарощування «грудки» не можна заздалегідь передбачити. Зрозуміло, що коли на першому етапі всі експерти були з однієї групи, дотримувалися в чомусь близьких поглядів або займалися схожою діяльністю, то за допомогою методу «сніжної грудки», швидше за все, буде добрано осіб з цієї самої групи. Думки й аргументи інших не буде взято до уваги.

Не менш складним є питання компетентності експертів. Звичайно, успішна участь у попередніх експертизах – добрий критерій щодо діяльності дегустатора, лікаря, судді в спортивних змаганнях, тобто експертів, які беруть участь у тривалих серіях однотипних експертиз. Проте, на жаль, найцікавіші та найважливіші унікальні експертизи великих проектів не мають аналогів.

Існують також методи самооцінювання та взаємного оцінювання компетентності експертів. Розпочнемо з методу самооцінювання, коли експерт сам надає інформацію про те, у чому він компетентний, а в чому – ні. З одного боку, хто краще знає можливості експерта, ніж він сам? З іншого боку, у разі самооцінювання компетентності експерти оцінюють скоріше свою самовпевненість, а не реальну компетентність. У багатьох випадках експерт зазвичай перебільшує свою реальну компетентність. Наприклад, більшість людей уважають, що вони добре розуміються в політиці, економіці, проблемах освіти і виховання, сім’ї та медицини. Насправді експертів (і навіть знавців) у цих галузях небагато.

На застосування методу взаємного оцінювання, окрім можливості виявити особисті та групові симпатії й антипатії, впливає мала обізнаність експертів про можливості колег. Якщо процедура експертного опитування припускає безпосереднє спілкування експертів, то слід зважати також на низку обставин. Велике значення мають особистісні (соціально–психологічні) якості експертів. Так, один–єдиний «балакун» може паралізувати діяльність усієї комісії на спільному засіданні. До зриву можуть призвести й неприязні стосунки членів комісії, і суттєва різниця в їхньому науковому та посадовому статусі.

Добирання експертів – одна з основних функцій робочої групи, і жодні методики не знімають з неї цієї відповідальності. Інакше кажучи, саме робоча група відповідає за компетентність експертів, їхню здатність розв’язати поставлені задачі. Важливо, що децидент має затверджувати перелік експертів. Він може як додати в комісію окремих експертів, так і викреслити деяких із неї.

Збирання й аналіз тверджень експертів. Існує багато методів отримання експертних оцінок. В одних із кожним експертом працюють окремо. Він навіть не знає інших експертів, а тому висловлює свою думку незалежно від авторитетів, груп і окремих колег. Згідно з іншими методами експертів збирають разом, щоб підготувати матеріали для децидента. При цьому експерти обговорюють проблему один з одним, приймають або відкидають аргументи колег, учаться в них, і відкидають неправильно чи недостатньо обґрунтовані твердження. В одних методах кількість експертів фіксована, в інших – зростає в процесі експертизи (наприклад, це стосується методу «снігової грудки» для формування колективу експертів).

Експертизи класифікують за кількома ознаками.

Перша класифікаційна ознака – мета експертизи. Одне з основних питань експертизи таке: що саме має бути результатом роботи експертної групи – інформація для прийняття рішення децидентом чи проект рішення? Від відповіді на це запитання залежить організація та методи роботи експертної групи.

Якщо мета – збирання інформації для децидента, то потрібно якомога більше даних, аргументів за та проти певних варіантів рішень. Може бути корисним такий метод поступового збільшення кількості експертів. Спочатку перший експерт наводить свої міркування з певного питання. Зібраний ним матеріал передають другому експертові, який додає власні аргументи. Нагромаджений матеріал надходить до наступного експерта. Процедура закінчується, коли вичерпано потік нових міркувань.

У цьому методі експерти лише постачають інформацію, аргументи за та проти, але не виробляють узгодженого проекту рішення. Немає ніякої потреби прагнути, щоб міркування експертів були узгоджені між собою. Навпаки, найбільша користь від експертів із нестандартним мисленням. Саме від них слід очікувати найоригінальніших аргументів.

Коли ж потрібно підготувати проект рішення для децидента, то для вирішення завдань, пов’язаних із підготовкою проекту рішення, часто застосовують математичні методи. Зазвичай при цьому некритично приймають догми узгодженості й одновимірності.

Догма узгодженості. У багатьох випадках без усіляких підстав уважають, що рішення можна ухвалити лише на основі узгоджених думок експертів. Тому з експертної групи виключають тих, чия думка не така, як у більшості. При цьому поза групою опиняються як некваліфіковані особи, котрі потрапили до складу експертної комісії випадково чи з міркувань, що не стосуються їхнього професійного рівня, так і найоригінальніші експерти, які осягнули проблему глибше, ніж більшість.

Часом міркування експертів поляризуються, і виникає дві чи більше груп із власним поглядом на проблему. Іноді вважають, що в разі виникнення двох або кількох груп експертів (замість однієї з узгодженими міркуваннями) опитування не досягло мети. Однак це не так – мети досягнуто, тому що з’ясовано, що єдиної думки немає (це має взяти до уваги децидент, приймаючи рішення). Прагнення забезпечити узгодженість думок експертів будь–що може призводити до свідомого одностороннього добору експертів, ігнорування всіх поглядів, окрім одного, який найбільше подобається робочій групі чи децидентові.

Часто не зважають на ще одну статистико–економетричну обставину. Оскільки експертів зазвичай не більше ніж 20–30, формальна статистична узгодженість їхніх думок (виявлена за допомогою певних критеріїв перевірки статистичних гіпотез) може поєднуватися з поділом експертів на групи, що робить подальші розрахунки недоцільними.

Зазначимо, що перевірка узгодженості в математико–статистичному розумінні – це зовсім не те, що її перевірка з погляду практики експертного оцінювання, і саме неповність таких математико–статистичних методів аналізу ранжувань зумовила розроблення нового апарату для перевірки узгодженості – непараметричних методів, що належать до статистики нечислових даних. Групи близьких експертів можна виділити методами кластерного аналізу.

Міркування експертів, котрі вважають інакше, ніж більшість. Щоб штучно досягти узгодженості, інколи прагнуть зменшити вплив думок експертів, котрі з певних причин міркують інакше. Жорсткий спосіб боротьби з ними – ігнорувати їхні думки, тобто фактично виключати їх зі складу експертної комісії. «Відбракування експертів» і результатів спостережень, що різко відхиляються від інших, призводить до поганих або невідомих статистичних властивостей. М’який спосіб боротьби полягає в застосуванні стійких статистичних процедур. Наведемо простий приклад: якщо відповідь експерта – дійсне число, то міркування, що сильно вирізняється від інших, суттєво впливає на середнє арифметичне відповідей експертів і майже не впливає на їх медіану.

Тому розумно як узгоджену думку розглядати медіану. Проте при цьому буде проігноровано аргументи експертів, котрі міркують інакше.

За будь–якого з цих способів боротьби з інакшими міркуваннями децидент позбавляється потрібної інформації, а тому може ухвалити необгрунтоване рішення, яке згодом призведе до негативних наслідків. З іншого боку, надання йому всіх міркувань знімає частину відповідальності та праці щодо підготовки остаточного рішення з комісії експертів і робочої групи, яка виконує експертне опитування, і перекладає цю відповідальність на децидента.

Догма одновимірності. У науково–технічній літературі поширений досить спірний кваліметричний підхід, згідно з яким об’єкт експертизи завжди можна оцінити одним числом. Проте сумнівно, що, наприклад, книгу чи картину доцільно розглядати як еквівалент якогось числа – її «ринкової вартості». Майже всі реальні об’єкти достатньо складні, тому точніше описати їх можна лише за допомогою багатьох чисел, а також нечислових математичних об’єктів. Водночас не можна повністю заперечувати саму ідею пошуку узагальнених показників якості, технічного рівня тощо. Кожен об’єкт можна й потрібно оцінювати за багатьма показниками якості.

Приклад 3.22. Автомобіль можна оцінювати за такими показниками:

v витрати бензину на 100 км шляху;

v надійність (зокрема, середня вартість ремонту за рік);

v екологічна безпека, оцінювана за змістом шкідливих речовин у газах;

v маневреність (зокрема, радіус повороту);

v швидкість досягнення швидкості 100 км/год після початку руху;

v максимальна швидкість, якої можна досягти;

v тривалість збереження в салоні оптимальної температури за низької чи високої зовнішньої температури та вимкненого двигуна;

v дизайн (привабливість і «модність» зовнішнього вигляду й салону);

v маса.

Чи можна звести оцінки за цими показниками докупи? Зрозуміло, що в цьому разі все залежить від конкретної ситуації, для якої обирають автомобіль. Максимальна швидкість важлива для гонщика, але не має великого практичного значення для водія звичайної приватної машини, особливо в місті з обмеженнями на максимальну швидкість. Для такого водія важливіші витрати бензину, маневреність і надійність. У машинах служб державного управління надійність, мабуть, важливіша, ніж у приватника, а витрата бензину – навпаки.

Отже, велике значення має конкретна (вузька) постановка завдання перед експертами, але її може не бути. Тоді розроблення узагальненого показника якості не може дати об’єктивних висновків. Альтернатива єдиному узагальненому показнику – математичний апарат багатокритерійної оптимізації, а також застосування методу аналітичної ієрархії.

Друга класифікаційна ознака для експертних процедур – кількість турів. Експертиза може складатися з одного туру, якоїсь фіксованої кількості турів (двох, трьох і т.д.), чи з невизначеної їх кількості. Що більше турів, то ретельніший аналіз ситуації, оскільки експерти при цьому зазвичай багато разів розглядають предмет експертизи. Проте водночас збільшується загальний час на експертизу та зростає її вартість. Можна зменшити витрати, залучаючи до участі в експертизі не всіх експертів відразу, а поступово. Так, якщо потрібно зібрати аргументи за та проти, то первинний перелік аргументів може скласти один експерт, а другий додасть до нього свої аргументи. Отримані дані надійдуть до першого та третього експертів, які внесуть свої аргументи й контраргументи. На кожен новий тур додається по одному експертові. Часто обмежуються заданою максимальною кількістю турів, і тоді невизначеність зводиться до того, чи доведеться проводити їх усі чи вдасться обмежитися меншою кількістю.

Третя класифікаційна ознака експертних процедур – організація спілкування експертів. Розглянемо переваги та вади елементів за такою шкалою: немає спілкування – заочне анонімне спілкування – заочне відкрите спілкування – очне спілкування з обмеженнями – очне спілкування без обмежень.

Коли немає спілкування, експерт висловлює свою думку, нічого не знаючи про інших експертів і їх міркування. Він повністю незалежний, що й добре, і погано. Зазвичай така ситуація відповідає однотуровій експертизі. Заочне анонімне спілкування, як у методі Дельфі, означає, що експерт знайомиться з міркуваннями й аргументами колег, але не знає, хто саме висловив те чи інше твердження. Отже, в експертизі має бути хоча б два тури. Усі варіанти заочної експертизи добрі тим, що не має потреби збирати експертів разом, шукати для цього слушний час і місце.

Під час очних експертиз експерти спілкуються між собою, тому встигають за той самий час сказати істотно більше. Достатньо поширена очна експертиза з обмеженнями, – збори, що проходять за певним регламентом. Нарешті, очна експертиза без обмежень – це вільна дискусія. Очні експертизи мають хиби, оскільки на їх проведення можуть негативно впливати соціально–психологічні властивості та групові пристрасті учасників, а також нерівність їхніх професійних, посадових, наукових статусів.

Реальні експертизи часто є комбінацією різних описаних вище типів експертиз.

Приклад 3.23. Розглянемо захист дипломного проекту студентом. Спочатку науковий керівник і консультант проводять багатотурову очну експертизу, у результаті чого студент готує проект до захисту. Потім два експерти – автор відгуку сторонньої організації і завідувач кафедри чи вповноважені ним особи працюють заочно. Вони допускають роботу до захисту (процедура передзахисту).

Завдання цих експертів і обсяги виконуваної ними роботи різні: один пише докладний відгук, інший підписом на титульному аркуші проекту дозволяє його захист. Нарешті відбувається очна експертиза без обмежень, тобто захист перед ДЕК – державною екзаменаційною комісією. Дипломний проект оцінюють колегіально. При цьому один експерт (науковий керівник) знає роботу детально, а інші – загалом лише за доповіддю та переглядом пояснювальної записки. Думки експертів беруть до уваги з вагами: думки членів ДЕК – з вагою 1, а всіх інших – з вагою 0 (дорадчий голос). Отже, маємо поєднання багатотурової й однотурової, заочної й очної експертиз. Подібні поєднання властиві багатьом реальним експертизам.

Дата добавления: 2014-01-05