Інформація

Як?

Що?

Чому?

Це перше із серії питань, яке я поставив в цьому розділі й постараюсь відповісти на нього так, щоби зміст і перебіг правильного оцінювання не становили вже ні для кого таємниці.

Отже, чому ми хочемо оцінювати? По суті, це питання можна розбити на два: хто хоче оцінювання і що він хоче досягнути, домагаючись його?

В першому випадку треба сказати, що різні групи можуть мати різні інтереси в проведенні оцінювання. Місцева влада хоче провести оцінювання, щоби знати, яка організація заслуговує на фінансування з бюджетних коштів. Політики хочуть знати, якою є ефективність використання грошей, що надаються під їхнім наглядом. Вони можуть також потребувати аргументації для виправдання їхніх попередніх рішень, або збирати аргументи, які обгрунтовують вибір якоїсь юридичної клініки. Оцінювання може бути способом нагромадження політичного капіталу перед черговими виборами. Працівники якоїсь “клініки” потребують оцінки, щоб з'ясувати певний аспект політики, що ними проводиться, або отримати дані для оцінки влади. Клієнти можуть бути зацікавленими тим самим, але з інших причин.

Відповідно можуть бути різними:

§ інтереси, які стоять за бажанням проведення оцінювання і визначають її;

§ що і як буде оцінюватись;

§ критерії, які будуть застосовуватись.

Для різних груп ефективність означає абсолютно різні речі і тому може по-різному оцінюватись. Для спонсора ключове значення може мати вартість, для працівників юридичної клініки - задоволення від праці, а для клієнта - користь, яку він дістає, отримуючи пропоновані “клінікою” послуги.

З цієї причини абсолютно необхідним є розуміння потреб того, хто бажає проведення евалюації[42] і якими є його інтереси. Це не означає, що слід якось впливати на результат, але таке усвідомлення може бути дуже корисним.

Облишимо зараз розмірковування про те, кому необхідне оцінювання і займемось другою стороною питання "Чому", або тим, що ми хочемо досягнути через оцінювання.

Можливостей є кілька:

§ розвиток юридичних клінік;

§ ріст її відповідальності;

§ промоція юридичної клініки.

У першому пункті йдеться про такі питання як розвиток практично діяльності та її ефективності, про критичний аналіз пріоритетів та оцінку знань працівників і добровольців. Отримана інформація дозволяє наприклад, наново сформулювати ці пріоритети або запланувати нове навчання.

Другий пункт стосується відповідальності юридичної клініки. Можна її продемонструвати, доводячи спонсорам, що отримані кошти використовуються ефективно і варто далі фінансувати цю юридичну клініку (програму). Це має велике значення для самої “клініки”, бо працівники та члени мають тоді наочний доказ, що її цінують, а її керівництво відповідально ставиться до виконання своїх обов'язків. Звідси лише крок до переконання, що такою є вся юридична клініка.

І нарешті промоція. Здійснення промоції може полягати в демонстрації і рекламі реалізованих акцій та програм, а також у заохоченні до застосування методик, які виявились дешевими й успішними.

Точна відповідь на питання “що буде предметом оцінювання” неможлива до того моменту, поки ми не усвідомимо, що кожна юридична клініка чи інституція може розглядатись з різних точок зору складатись із різнорідних частин і систем. Тому умовою доброї евалюації є детальні відомості про об'єкт, який повинен бути їй підданий. Це необхідно, щоб вибрати якусь із існуючих моделей оцінювання і застосувати власне її, увесь час пам'ятаючи про те, що вихідним пунктом є відповідь на питання "чому ми хочемо проводити оцінювання".

Розглянемо такий приклад:

Для потреб кількох інвесторів, спонсорів ми хочемо провести евалюацію юридичної клінки “ X ”. Розпочати ми повинні від запитання, якою є ця юридична клініка, чим вона займається і якими е її складові елементи.

Насамперед необхідно відповісти на питання чи нас цікавить евалюація програм, реалізованих цією “клінікою”, чи процес-прийняття рішень, наприклад, щодо того, які програми реалізовано, чи прийнята в юридичній клінці модель відносин між її працівниками і клієнтами або між персоналом та добровольцями.

Ми можемо піддати оцінці також систему реалізації конкретної програми юридичної клініки, у тому числі й роль членів, працівників чи робочих груп, виділених спеціально для цієї мети. В останньому випадку важким може виявитись питання наскільки діяльність робочої групи спричинилась до успіху програми і наскільки вона служить інтересам “клініки”, як єдиного цілого.

Подібні роздуми можна проводити до нескінченності, бо життя е режисером з необмеженою фантазією. Однак все-таки з'являється одна небезпека. Чим більше прикладів та гіпотетичних питань, тим більше сумнівів. Але не про це мова. Ми ж намагаємось будувати модель, а не розглядати детальні питання.

Ми вже сказали раніше, що для того, аби провести оцінювання правильно, слід знати, чому воно нам потрібне. Це відправна точка. Якщо ми це вже знаємо, то повинні відповісти на чергове питання, що таке те "щось", що цікавить нас як потенційний предмет оцінювання? Якщо знаємо і це, то можемо зробити наступний крок, але зараз припустимо, що маємо труднощі з відповіддю на це питання. Чи є якісь критерії, які б дозволили перевірити, чи суттєвим є те, що, на нашу думку є потенційним предметом оцінювання і чи воно повинно бути цим предметом. Немає таких критеріїв, ані готових рецептів, бо в кожному випадку вони є похідною першого питання.

Розглянемо черговий приклад.

Юридична клініка “ V ” реалізує у Києві певну програму чи здійснює певну діяльність. Залежно від завдань оцінювання можемо наголосити на тому, якою мірою програма досягне визначеної мети, або на тому, яким чином здійснюється її керівництво і реалізація. На практиці це може означати як дослідження ефективності, так і оцінку чи насправді в рамках реалізації програми надаються такі послуги, які очікувалось.

Подібно виглядає ситуація з оцінкою робочих груп. Ми можемо досліджувати те, чи така група реалізує визначену мету чи ні, або чи робить це ефективно. В цьому випадку скористаємось прикладом групи експертів, скликаних для приготування концепції розвитку якоїсь програми, наприклад розвитку мережі юридичних клінік в місцевості Z. Не маючи спеціальних знань про цю програму, ми не будемо оцінювати експертизу як таку, натомість у процесі оцінювання ми можемо дослідити наскільки робота цієї групи спричинилась до успіху організації або якою мірою ефективність роботи цієї групи служить реалізації вдосконаленню й поширенню даної програми у даній місцевості чи регіоні. З другого боку, значно важливішим може виявитись визначення, що саме було причиною низької ефективності роботи цієї групи. Слабкість може полягати в принципах підбору членів групи або в прийнятій процедурі роботи.

Після відповіді на запитання: "чому" і "що" прийшов час на питання "як". З-поміж ряду моделей оцінювання тут, продемонструємо три найпопулярніші моделі, а саме - оцінювання результату, оцінювання процесу та оцінювання послуг.

Щоб говорити про оцінювання результату, варто спочатку продемонструвати т.зв. системний підхід. Простіше кажучи, існують якісь складники, що входять до системи, там підлягають різним впливам і виходять із системи у формі результатів. Прийнято, що у випадку, коли в системі відбувається якийсь процес, кінцевим продуктом цього процесу є перетворення його складників у якийсь якісний результат. Це означає, що оцінка результатів полягає у порівнянні їх зі складниками.

Цей тип оцінювання на практиці полягає у вимірі, якою мірою очікуваний результат був досягнутий. Іншими словами йдеться про оцінку рівня реалізації завдань і намірів, сформульованих на початку програми. Може, однак, здатись і так, що предметом виміру та оцінки будуть результати, які не були ані очікуваними, ані внесеними в програму, тому що є побічним ефектом або випадковістю.

З метою зображення цієї моделі повернемось юридичних клінік які реалізує програму підвищення кваліфікаційного рівня молодих правників. У цьому випадку оцінювання може полягати у дослідженні, чи ці працівники насправді підвищили кваліфікаційний рівень і тим самим, чи це завдання програми було реалізоване.

Дещо інший характер має оцінювання процесу. Якби ще раз повернутись до системного аналізу, то цього разу слід було б звернути увагу на процеси, які відбуваються у системі, змінюючи складники на результат.

Вибір тих процесів, які повинні бути піддані оцінюванню, завжди залежить від потреб зацікавленої сторони. В нашому прикладі з робочою групою, яка працює над концепцією розвитку програми юридичних клінік, оцінювати можна підбір членів, процес роботи групи, її ефективність, відносини між членами, а також відносини між членами і персоналом організації.

Оцінювання послуг можна передати досить простою формулою, бо ми запитуємо, чи одержувачами послуг були ті, для кого вони призначались?, чи послуги були такими, як планувалось? і чи надання цих послуг відбувалось ефективно?

У зв'язку з представленими моделями оцінювання з'являється кілька проблем, про які варто згадати.

По-перше, один вид оцінювання не виключає інший, тому що на практиці оцінка надання послуг пов'язана з аналізом результатів, а оцінювання процесу може торкатись завдань і намірів. Більше того, часто на практиці може виявитись, що оцінка наданих послуг пов'язується з аналізом результатів, а оцінювання процесу торкається проблематики завдань і намірів.

По-друге, незалежно від того, який вид оцінювання застосовується, воно повинно відбуватись, опираючись на чітко описані процедури.

Щоб здійснити належний вибір моделі оцінювання, завжди потрібно пам'ятати про те, чому воно розпочалось. Якщо метою є перманентна оцінка діяльності юридичної клініки чи будь-якої іншої програми, то слід використовувати однакову процедуру, підібрану таким чином, щоб відбувалась постійна оцінка отриманої інформації та прийнятих рішень, а сформульовані пропозиції оперативно використовувались для перевірки функціонування юридичної клініки. При такому підході оцінювання і управління тісно пов'язані між собою.

Якщо ж нашою метою є підготовка звіту на якомусь етапі діяльності, тоді процедура оцінювання повинна бути зовсім іншою. У цьому випадку оцінка проводиться в конкретний момент, а дослідженню підлягає певний замкнутий цикл функціонування юридичної клініки. Тут безпосередні зв'язки з управлінням не є вже такими явними, бо пропозиції можуть, але не повинні використовуватись.

Звичайно, якщо це необхідно, можна уявити собі застосування обох схем одночасно.

По-третє, оцінювання повинно відбуватись за заздалегідь розробленим планом. Він віддзеркалює причини, через які розпочалось оцінювання, окреслює його предмет, а також вибраний тип (модель) оцінювання.

Не будемо заглиблюватись у подробиці планування процесу оцінювання, але слід звернути увагу на наслідки недопрацювань у цій площині. Припустимо, що ми хочемо порівняти дві юридичні клініки. Не можна, наприклад, стверджувати, що юридична клініка “ Х ” є більш ефективною, ніж юридична клініка “ V ”, якщо ми не маємо даних про останню. Це означає, що в процесі планування була допущена помилка. Не можна стверджувати, що програма Р принесла користь особам А,В,С і D, якщо немає інформації про цих людей від того часу, коли програма Р була розпочата.

У вступі я зазначав, що до питань "чому" і "що" додаємо питання "як". Як легко зрозуміти - кожне питання наближає нас до відповіді на найважливіше питання: чим є оцінювання і як його проводити?

Аналізуючи окремі питання і відповіді, ми переконуємось, що переходимо від речей загальних до детальних і від речей абстрактних до конкретних. Ми починали від дуже загального визначення евалюації, потім був його предмет, а зараз ми оперуємо детальними типами (моделями) цього процесу. Черговий крок веде нас до нагромадження інформації, яка дозволяє проводити оцінювання. Як самої інформації, так і методів її нагромадження може бути дуже багато. Приділимо трохи уваги обидвом цим питанням.

Те, яка інформація потрібна тому, хто проводить оцінювання, залежить від відповіді на попередньо поставлені запитання. Через те, що повторення є матір'ю навчання, поставимо ці питання ще раз:

- якими є причини оцінювання?

- що буде її предметом?

- який тип (модель) оцінювання буде застосовано?

- згідно з яким планом і якою процедурою?

Лише зараз можна обміркувати формулювання критеріїв відбору інформації, яку слід накопичувати.

Приступаючи до цього завдання треба усвідомлювати, що існує багато різновидів даних та інформації. Нижче подано пари, які найчастіше зустрічаються:

жорсткі	м'які
об'єктивні	суб'єктивні
кількісні	якісні

Прикладом жорстких даних може бути кількість виданих порадників чи підручників, а м'яких даних - непостійна вартість, для прикладу.

Об'єктивні дані - це такі, які можна виразити конкретно і вони є однаковими незалежно від того, хто їх збирає, наприклад, кількість грошей, юридичною клінікою “ Х ” на протязі року. Суб'єктивний характер має, натомість, оцінка моральних переваг групи, скликаної для допомоги у вирішенні проблем звернень громадян. Значною мірою ця оцінка залежить від точки зору того, хто проводить евалюацію.

Кількість наданих порад, відвідування зборів чи фінансовий звіт -типові кількісні дані, тоді як настрій, кваліфікацію чи посвяту себе якійсь справі можна виразити тільки у якісних категоріях.

Звернемо увагу також на те, що ми не ділимо інформацію на хорошу і погану. Такий поділ не має змісту. Інформація є просто різною і може бути по-різному використана.

Зупинимося зараз на двох питаннях:

- чи обрана методика збору даних дозволяє отримувати завжди такі самі результати?

- чи нагромаджуючи дані ми насправді вимірюємо те, що потрібно було виміряти?

Розглянемо ці питання дещо детальніше.

Перше можна сформулювати ще й так: якщо б та сама особа збирала б ті самі дані двічі, то чи отримала б такий самий результат? Або сформулювати запитання так: якщо дві особи збирали б ту саму інформацію, то чи їхні результати були б тотожними? Уявімо собі юридичну клінку, яка займається складанням юридичних документів і представництвом в судах. Оцінюючи її активність, можна брати до уваги обидві форми діяльності, або враховувати тільки складання документів, без представництв у суді. Кожного разу дані будуть іншими.

Друге питання спонукає того, хто проводить евалюацію до роздумів над доцільністю та ефективністю власної діяльності. Якщо хтось вимірює розмір голови якоїсь особи, то таким методом не отримує даних про її інтелігентність. Так само, якщо ми підрахуємо кількість членів робочої групи, то це ще не означає, що знаємо щось про силу її впливу.

Через те, що ці приклади можуть видаватись банальними і наївними, розглянемо дещо інші. Припустимо, наприклад, що з отриманої інформації випливає, що в юридичній клініці “ Х ” небагато людей змінює місце роботи. Чи буде виправданим твердження, що ця вона створила хороший клімат для створення стабільної команди? Або інша ситуація: чи те, що якась юридична клінка отримує дотації є достатнім свідченням успішної її діяльності?

Ключовою проблемою на цьому етапі оцінювання є точне визначення, яка інформація є необхідною та який існує зв'язок з досліджуваною проблемою і вибраним типом оцінювання.

Якщо це, наприклад, оцінювання результатів, то дані, які потрібно зібрати, повинні бути тісно пов'язані з намірами і завданнями, тому що колись вони були відправною точкою і повинні бути втілені в досліджувальних результатах. Формулювання цих намірів та завдань буде впливати на добір необхідної інформації. Якщо завданням юридичної клінки “ Y ” була опіка над правами землевласників, то звичайний підрахунок землевласників, охоплених опікою, може дати необхідну інформацію. Цього, однак, не вистачить, щоб оцінити ефективність діяльності осіб, які виконували цю роботу. Для цього необхідна додаткова інформація.

У випадку оцінювання процесу необхідним може виявитись дослідження як, наприклад, обирались власники, чиї земельні ділянки були охоплені юридичною клінікою. В цьому першому випадку потрібна буде інформація про перебіг процесу прийняття рішення, а також про роль людей, які беруть участь у програмі. Натомість у другому буде важливим визначення як ця робота спричинилась до розвитку певних навичок у людей, що опікуються правами землевласників.

Інакше буває тоді, коли ми наважуємось на оцінку послуг. У цьому випадку необхідна інформація про те, якими були ці послуги. У нашому прикладі дослідження вимагатиме інформації про те, чи насправді здійснювався догляд за дотриманням прав землевласників, а також хто і як це робив?

І нарешті, зауваження про порівняння. Часом варто мати інформацію про те, якою була ситуація перед початком діяльності юридичної клініки, для того, щоб легше було продемонструвати, що її реалізація призвела до очікуваних змін. Також можна використати дані з інших місць, щоб довести, що там, де програма не реалізовувалась, не відбулося необхідних і важливих змін.

Дата добавления: 2014-12-24