Проведення експертизи

При проведенні експертизи в першу чергу повинний зважуватися важливе питання формування складу експертної комісії. Кількісний і якісний склад експертної комісії повинний визначатися з урахуванням широти проблеми, вірогідності оцінок, витрат ресурсів і характеристик експертів. Широта розв'язуваної проблеми, обумовлена кількістю різних аспектів, зв'язана з установленням нижньої границі кількісного складу експертної комісії, тобто кількість експертів повинна бути в комісії таким, щоб кожен аспект, напрямок дослідження був закріплений як мінімум за конкретним фахівцем. Вірогідність оцінок зв'язана з рівнем знань експертів і їхньою кількістю. При відповідному рівні знань збільшення кількості членів експертної комісії повинне приводити до зростання вірогідності результатів експертизи. Величину розташовуваних ресурсів на проведення експертизи з урахуванням пропорційності кількості приваблюваних експертів варто використовувати при визначенні верхньої границі кількісного складу експертної комісії. Таким чином, зазначені орієнтири в конкретних випадках дозволяють визначитися з кількісним складом експертної комісії.

Для включення в експертну комісію визначеного експерта необхідно використовувати наступні критерії: компетентності, креативності, відносини до експертизи, конформізму, конструктивності мислення, колективізму, самокритичності.

Компетентність — це володіння визначеними знаннями, що дозволяє індивідууму висловлювати судження по визначеному колу питань. Ступінь компетентності може характеризуватися коефіцієнтом компетентності. Відомі різні методи визначення значень коефіцієнтів компетентності. Їх підрозділяють на апріорні, апостеріорні і тестові.

В апріорних методах оцінки якості експерта не використовується інформація про його судження, що мали місце в попередніх експертизах. До цієї групи методів відносяться:

• метод самооцінки з використанням бальної шкали (3-бальної, 5-бальної і т.д.);

• метод самооцінки з використанням вербально-числових шкал, у яких поряд зі змістовно описуваними найменуваннями їхніх градацій містяться відповідні їм чисельні чи значення їхні діапазони;

• диференціальний метод самооцінки, у якому розраховується комплексна самооцінка як напівсума самооцінки ступеня знайомства експерта з основними джерелами інформації в розглянутій області і зваженої з урахуванням коефіцієнта порівняльної вагомості самооцінки знайомства експерта з досліджуваним об'єктом;

• методи взаємної оцінки експертів, засновані на одержанні різними способами взаємооцінок експертів (формування списків компетентних фахівців, формування матриць взаємооцінок експертів у балах, у числових оцінках переваги компетентності 1-го експерта над 2-м і т.д.) і їхньої наступної обробки з метою одержання оцінок компетентності кожного експерта, що входить до складу експертної комісії;

• документаційний метод, що пропонує орієнтуватися на об'єктивні характеристики експерта, а саме: стаж роботи, наявність ученого ступеня, займана посада, кількість наукових праць і т. д

Апостеріорні методи оцінки якості експерта базуються на використанні інформації про його судження, що мали місце в експертизах, проведених з його участю. До таких методів відносяться:

• метод оцінки якості експерта на основі його відповідей, що базується на аналізі результатів парних порівнянь, виконуваний з метою виявлення нелогічностей (протиріч) і обчисленні коефіцієнта компетентності з урахуванням кількості виявлених нелогічностей у судженнях випробуваного експерта;

• метод розрахунку коефіцієнта відхилення суджень експерта, що базується на порівнянні відстані від індивідуальної оцінки експерта до результуючої з максимально можливою відстанню.

Тестові методи оцінки якості експерта націлені на розпізнавання професійної придатності випробуваного, а також виявлення наявності необхідних навичок і досвіду для ефективної участі в роботі експертної комісії. Для успішного проведення тестового експерименту необхідне виконання наступних умов: цілеспрямованість змісту тесту на конкретні об'єкти експертизи; наявність шкали, що дозволяє оцінити ступінь точності оцінок експерта; максимальна наближеність тестових оцінок експерта їхнім щирим значенням; можливість установлення припустимих меж відхилень оцінок експерта від їхніх щирих значень; мінімальна імовірність випадкового угадування експертом щирої оцінки.

Якщо оцінка компетентності експертів може носити кількісний характер, то такі характеристики як креативності (здатність рішення творчих задач), конформізм (схильність впливу суджень авторитетів), відношення до експертизи, конструктивність мислення, колективізм, самокритичність мають, як правило, якісний характер.

Оскільки при підборі експертів використовується визначена безліч характеристик, що мають різні значення і різну значимість, то виникає необхідність формування інтегральної оцінки експерта, тобто рішення багатокритеріальної задачі з відомою її проблематикою. Як таку інтегральну оцінку, одержуваної альтернативним шляхом, можливе застосування значення вірогідності суджень експерта, обумовленого як відношення числа випадків виданих експертом рекомендацій, прийнятність яких підтверджена практикою, до загального числа випадків участі експерта у виробленні рекомендацій.

Опитування експертів є одним зі значимих етапів процесу організації і проведення експертизи. У ході реалізації цього - етапу здійснюється виявлення і констатація суджень експертів власне кажучи досліджуваного об'єкта. Форма проведення опитування фактично є основою, що визначає вид методу організації і проведення експертизи. Основними формами опитування є: анкетування, інтерв'ювання, метод Дельфи, мозковий штурм, дискусія.

У ході анкетування здійснюється опитування експертів у писемній формі за допомогою анкет. Анкета — складається організаторами проведення експертизи список питань, пропонований експертам, відповіді яких служать вихідними емпіричними даними для узагальнень і висновків. У процесі розробки анкети організатори експертизи, орієнтуючись на її мети і задачі, повинні скласти перелік питань, ретельно відпрацьовуючи їхній зміст, вибираючи форму і послідовність. При цьому варто уникати питань, на які неможливо чи відповісти відповідати не потрібно.

По змісту питання підрозділяють на три групи, а саме: об'єктивні характеристики експерта (прізвище, ім'я, по батькові, рік народження, утворення, спеціальність, стаж роботи зі спеціальності і т.д.); характеристики досліджуваних аспектів об'єкта, зведення допоміжного характеру про джерела інформації, розташовуваної експертом, про процес аргументації суджень експерта і т.п.

За формою питання бувають відкриті, закриті і з віялом відповідей. Відкриті питання допускають можливість відповіді в довільній формі. Достоїнством їх є можливість глянути на розглянуті аспекти об'єкта з різних сторін, виявити широту думок експертів по досліджуваних аспектах об'єкта експертизи. Як недолік слід зазначити утруднення в їхній обробці, наприклад, з погляду їхнього інтерпретування, побудови таблиць, графіків і т.п.

Закриті питання припускають відповідь експерта у формі «так» — істина, «ні» —неправда, «не знаю» — важко відповісти. Ця форма питань ефективна при необхідності виявлення думки більшості експертів по яким — або аспектах досліджуваного об'єкта, тобто при необхідності проведення «голосування» експертів. Достоїнством їх є простота обробки, недоліком — вузький спектр їхнього застосування. Питання з віялом відповідей надають можливість експерту робити вибір із сукупності підготовлених відповідей. Звичайно такі питання готують у ситуаціях з наявністю декількох напрямків у досліджуваному аспекті об'єкта, з метою виявлення найбільш перспективного напрямку для його реалізації.

Послідовність включення питань в анкету також є важливим елементом розробки анкети. Питання повинні включатися в анкету в логічній послідовності. Спочатку варто розмістити питання, що характеризують об'єктивні дані про експерта, потім наступні питання повинні розбудити інтерес, честолюбство експертів блиснути професіоналізмом по досліджуваних аспектах об'єкта. При цьому рекомендується враховувати послідовне збільшення ступеня труднощі питань, що задаються. При багатотуровому анкетуванні в умовах складності об'єкта і невизначеності інформації про об'єкт дослідження рекомендуються початкові тури проводити на основі відкритих питань, а наступні — на основі питань з віялом відповідей і закритих.

Інтерв'ювання як процес одержання інформації інтерв'юером під час проведення по заздалегідь наміченому плані бесіди, опитування чи експерта групи експертів є однієї з різновидів форм збору інформації в ході експертизи. Для успішного проведення інтерв'ю інтерв'юер повинний ретельно його спланувати, проробити склад і черговість питань, що задаються, з обліком приведених вище рекомендацій, заздалегідь повідомити випробуваним (експертам) тему опитування, не знайомлячи їх з конкретним переліком питань. Опитування варто проводити динамічно, задавати прямі й уточнюючі питання з метою одержання достовірної і досить повної інформації. Результати опитування інтерв'юер може доповнити своїми особистими спостереженнями. Живий контакт із випробуваним (випробуваними) дозволяє інтерв'юеру швидше виявити корисні зведення про досліджуваний об'єкт, формулюючи чергові питання з урахуванням отриманих відповідей на вже задані. Однак, при цьому не слід забувати і про можливість негатива, зв'язаного з впливом інтерв'юера на відповіді експертів, зі зростанням імовірності неточних відповідей, через обмежений час на продумування відповідей, з можливою невиправдано великою тривалістю опитування при груповому дослідженні.

Метод Дельфи (Дельфи —давньогрецьке місто, що розташовувався в підніжжя гори Парнас, де знаходився так називаний дельфийский оракул) на сьогодні являє собою сукупність способів організації проведення експертизи, опитування експертів, обробки й оцінки їхніх результатів, одержання групового висновку, що задовольняють визначеним загальним вимогам. Сутність методу полягає в організації ітераційного (многотурового) процесу виявлення суджень експертів по можливих альтернативах досліджуваного об'єкта з послідовним звуженням розмаху в оцінках експертів відповідних альтернатив на основі надання їм додаткової інформації на другій і наступній ітераціях з метою виявлення однієї чи декількох обґрунтованих точок зору експертної комісії з досліджуваного об'єкта. При реалізації методу повинні виконуватися наступні вимоги: анонімність кожного включеного в проведення експертизи експерта й інформації із суті досліджуваного об'єкта, сгенерованої конкретним експертом у процесі проведення експертизи; наявність зворотного зв'язку в процесі проведення експертизи, що виражається в передачі на наступному кроці (турі) іншим експертам анонімної інформації, сгенерованої конкретними експертами на попередньому кроці, для ухвалення рішення по уточненню своїх оцінок; одержання групової оцінки на основі обробки індивідуальних оцінок членів групи. При цьому значимим є забезпечення можливості давати експертам відповіді на поставлені питання переважно в кількісній формі, організація достатньої інформованості експертів, системне обґрунтування своїх точок зору експертами. Експертизи по методу Дельфи, як правило, проводять у кілька турів. Число турів визначається в ході аналізу результатів чергового туру і часто лежить у межах від трьох до п'яти. Як форму опитування експертів в основному застосовується анкетування, хоча і не виключаються й інші форми індивідуального опитування. У першому турі експертів знайомлять з метою проведення експертизи, інформують про сутність розглянутого об'єкта, пред'являють перелік питань, відповіді на який обробляються, аналізуються аналітиками з метою виявлення крайніх значень оцінок — верхньої і нижньої границі, а також їхніх обґрунтувань, висловлених визначеними експертами. Знаходиться середнє чи значення медіана за результатами висловлень членів експертної групи. Установлюється величина розкиду експертних оцінок, на основі якої робиться висновок про погодженість точок зору експертів. Отримані результати першого туру доводяться до експертів із указівкою розташування їхніх власних оцінок. В другому і наступному турах експерти або аргументують свої оцінки сильно відхиляються від середніх значень, або коректують їх, знаходячи нові доводи на користь зміни їхніх значень з обліком додаткової інформації, що надійшла до них. Отримані дані знову обробляються, аналізуються з доведенням результатів до експертів. Аналіз проводиться в тому числі і на предмет ухвалення рішення про чи продовження припиненні проведення наступних турів, у випадку одержання достатнього ступеня погодженості думок експертів по альтернативах досліджуваного об'єкта.

Мозковий штурм являє собою сукупність способів групового обговорення з метою генерації альтернативних нетрадиційних варіантів рішень по досліджуваних об'єктах, формування нових, оригінальних ідей.

Дискусія як форма опитування експертів проводиться у виді відкритого обговорення розглянутої проблеми, з метою перебування найбільш адекватних шляхів її рішення, виявлення найбільш значимих факторів, що впливають на її виникнення і розвиток, системної оцінки достоїнств і недоліків результатів реалізації можливих способів її дозволу. Для організації і керування проведенням дискусії формується група керування з метою чіткого формулювання сутності обговорюваних задач, визначення вимог до експертів і здійснення їхнього підбора, розробки методики і регламенту проведення дискусії. Істотна роль у дискусії приділяється ведучому в створенні творчої сприятливої обставини для вільного викладу конструктивних ідей виступаючими власне кажучи діскутуємих питань, в умінні коротко і ємко резюмувати виступу, в організації генерації ефективних колективних ідей, спрямованих на дозвіл діскутуємих проблем. У ході виступів учасників дискусії дозволяється критика, можуть мати місце перерви в процесі проведення дискусії, передбачаються кулуарні обговорення під час перерв, що сприяють досягненню позитивного ефекту під час подальшого продовження дискусії. Виступи фіксуються одним чи декількома можливими способами, аналізуються по закінченні дискусії з метою узагальнення і класифікації основних результатів, висловлених учасниками дискусії. Основні результати дискусії можуть бути скоректовані з урахуванням додаткової інформації експертів, одержуваної приблизно через добу після закінчення дискусії.

Дата добавления: 2014-11-06