Оцінка як складова наукового супроводу

Саме для того, щоб компенсувати вищезгадані вади цього методу, дослідники не обмежуються лише вивченням документації проекту, а користуються й іншими методами збору даних, які покликані доповнити, перевірити і підвищити об’єктивність отриманої інформації. Які саме із інших методів залучити і з’ясовується в ході вивчення документації проекту. Залежно від характеру даних, яких бракує, у кожному випадку дослідники вирішують, до якого із інших методів збору даних є сенс звернутися – спостереження, опитування, фокус-груп, вивчення повідомлень засобів масової інформації тощо.

Вивчення даних інших інституцій стосовно проекту. В багатьох випадках наукового супроводу соціальних проектів вивчення документів проекту може бути доповнено вельми корисною інформацією, яку можна отримати із документальних свідчень інших інституцій, що є партнерами або причетні до проекту в той чи інший спосіб. Інколи вивчення документації партнерів, які виконують у проекті окремі, чітко визначені види діяльності, може давати більш детальні і цікаві дані стосовно цих видів діяльності, ніж це можуть дати організатори проекту.

Наприклад, сім організацій-партнерів українсько-канадського проекту “Молодь за здоров’я” (два міністерства, один державний комітет, два науково-дослідних інститути, один міський центр соціальних служб для молоді і одна молодіжна недержавна організація) накопичили протягом більш як чотирирічного терміну дії проекту такий масив даних, самий перелік яких займає три сторінки одного із підсумкових документів проекту [45]. Природно, виконуючи науковий супровід цього проекту дослідники Державного інституту проблем сім’ї та молоді, окрім інших методів збору даних, постійно вивчали дані інших інституцій-партнерів, що уможливило загалом розробку науково обгрунтованої стратегії поширення набутого досвіду на інші регіони України.

У залежності від характеру інформації, яка може бути отримана методом вивчення даних інших інституцій стосовно проекту, і способів обробки цих даних, названий метод може успішно використовуватися як для якісного, так і для кількісного аналізу.

Перевірка знань, умінь і навичок використовується в ході наукового супроводу етапу реалізації соціального проекту, перш за все в тих випадках, коли потрібно визначити вплив застосованих навчальних і тренінгових програм на користувачів проекту. Зазвичай це робиться задля удосконалення самих програм, визначення досягнутих результатів, вирішення обох завдань одночасно. Це вельми складний, але й інформативний метод збору даних стосовно можливостей користувачів проекту. програми. Здійснення перевірки вимагає від дослідників доброго знання не лише тієї навчальної програми, що була застосована у ході проекту, а й загальних методів оцінки навчальних і тренінгових програм, спрямованих на підтримку соціально прийнятної поведінки, профілактику небажаних поведінкових проявів і зміну хибних поведінкових моделей. Перевірка може застосовуватися у різні способи, наприклад, організацією ситуаційних вправ та моделюючих ігор, якщо йдеться про визначення ймовірної поведінки; застосуванням проективних тестів, якщо йдеться про визначення ставлення тощо [16]. Але, на думку авторів, найбільш реальним і, одночасно, комплексним способом перевірки можливостей користувачів проекту є вимірювання індикаторів, які віддзеркалюють процес впливу на людину інформації, яка була надана навчальною програмою. Таке міркування будується на відомих теоретичних положеннях, які вказують, що вплив інформації відбувається поступово і пов’язаний із тим, що у свідомості людини відбуваються певні психологічні процеси (наприклад, виникнення усвідомлення, формування мотивації, ставлення, готовності до дій тощо). Ці процеси можуть бути наслідком педагогічної діяльності (наприклад, отримання знань, набуття умінь і навичок тощо) і лише разом психологічні і педагогічні чинники, можливо, зумовлюватимуть поведінку, хоча це й не обов’язково, принаймні в багатьох випадках може відбуватися не швидко [46]. Виміряти такі індикатори, які, з певною мірою імовірності, віддзеркалюватимуть зазначені психологічні і педагогічні чинники інформаційного впливу, очевидно можливо кількісними соціологічними методами збору даних, передовсім тими варіантами опитування, про які йшлося вище. Отже, на наш погляд, перевірка знань, умінь і навичок користувачів проекту стосовно впливів навчальних і тренінгових програм може виступати в певних випадках не стільки як самостійний метод збору даних, скільки як завдання, вирішити яке можливо методами анкетування чи інтерв’ювання.

Загалом стосовно методів збору даних для наукового супроводу соціальних проектів, доцільно мати на увазі два принципових міркування:

· не існує добрих або поганих, кращих або гірших методів взагалі безвідносно до завдань і умов конкретного дослідницького випадку. Усі методи можуть бути однаково корисними і навпаки, залежно від того, наскільки вони доречні за конкретних обставин використання. А вже ступінь адекватності цим обставинам обраних методів залежить від кваліфікації дослідника;

· якщо обставини дослідження уможливлюють вільний вибір між кількісними і якісними методами, є сенс обирати кількісні методи збору даних як найбільш переконливі для демонстрації результатів дослідження.

На етапі реалізації соціального проекту оцінка набуває особливого значення, тому що, незалежно від головних характеристик проекту (рівня охоплення – національного, регіонального, міського, міжгалузевого, галузевого, окремої організації або невеликого поселення тощо; цільового призначення, – наприклад, поліпшення загального добробуту певних цільових груп населення, покращання здоров’я, профілактики небажаної поведінки, соціальної допомоги тощо), багато людей хочуть або повинні знати, що відбувається в процесі проектної діяльності, яких результатів можна очікувати і чи варто це зусиль, що витрачаються для реалізації проекту і мають бути витрачені надалі.

Так, донори і організатори, тобто люди, які повинні приймати рішення стосовно долі проекту (розвитку, згортання, збереження на існуючому рівні) хочуть мати для цього об’єктивні підстави; менеджери, інший персонал, користувачі проекту зацікавлені знати, у який спосіб можна удосконалити проектну діяльність, – які компоненти посилити, від яких, можливо, відмовитись тощо. Інші члени суспільства, навіть не причетні до проекту, також мають право отримувати соціально значущу інформацію.

З точки зору наукового супроводу соціальних проектів, о цінкою, на думку авторів, можна вважати дії зі збору, обробки, систематизації, аналізу, узагальнення та порівняння даних стосовно процесів та/або результатів проекту з певними стандартами (еталонами), які слугують критеріями досягнення очікуваних результатів або відповідності реальної діяльності тій, що була запланована.

В житті можуть траплятися випадки упередженої, необ’єктивної оцінки, коли вона здійснюється на підставі емоцій, а не фактів і детермінується особою оцінювача. Аби запобігти цьому, до оцінки, яка виконується в ході наукового супроводу соціальних проектів, висуваються певні вимоги щодо її об’єктивності і науковості.

Так, оцінка має бути систематизованою, тобто відбуватися в межах певної системи положень, умов і обмежень, які чітко визначають порядок оціночних дій. Таку систему, у даному випадку, утворюють загальноприйняті канони і правила виконання наукових досліджень у сфері суспільних наук.

Також оцінка має бути спрямована саме на процеси і результати того проекту, що оцінюється, а не на щось інше в межах проекту або поза його межами.

Крім того, оцінка має здійснюватися за визначеними критеріями, якими слугують певні стандарти для порівняння. Стандартами, залежно від конкретної ситуації, можуть бути очікувані результати, цілі і завдання проекту, вплив і показники проектної діяльності, показники стану об’єктів проекту, очікування користувачів, орієнтири, визначені соціальною політикою країни, інші, які аргументовано можуть бути представлені як еталони, яких має прагнути проектна діяльність. Дані стосовно процесів і результатів проекту, які збираються в ході оцінки, порівнюються із зазначеними стандартами. Факти досягнення певних стандартів або ступінь наближення до них реальних проектних показників і характеристик слугують оціночними критеріями. Наприклад, об’єктивними критеріями наукової оцінки можуть бути факти або рівень досягнення очікуваних результатів, досягнення цілі проекту, вирішення його завдань, факти або рівень впливу проектної діяльності, ступінь зміни її показників, ступінь зміни показників стану об’єктів проекту, рівень задоволення потреб користувачів, ступінь відповідності процесів і результатів проекту принциповим положенням соціальної політики держави тощо.

Оцінка також має здійснюватися із метою удосконалення проекту або прийняття таких рішень стосовно проекту, які безумовно корисні для суспільства. Якщо оцінка виконується з іншою метою, вона не буде об’єктивною і науковою, відповідно не може бути використана в ході наукового супроводу соціального проекту (наприклад, якщо хтось захотів би виконати оцінку з метою за будь-яку ціну довести необхідність припинення якогось проекту, незважаючи на його об’єктивно позитивні показники, така мета апріорі позбавляє оцінку ознак науковості).

Види оцінки. З точки зору потреб наукового супроводу соціальних проектів, прийнято виокремлювати кілька класифікацій видів оцінки, залежно від ознак того, коли і хто оцінку здійснює і що саме оцінюється.

За ознакою часу (коли) розрізняють вхідну (або базову) оцінку, поточну оцінку та оцінку на виході (або підсумкову).

Вхідна (базова) оцінка, перш за все, здійснюється на початковому етапі розробки проекту (або окремого виду проектної діяльності), коли потрібно оцінити вихідну ситуацію, передумови розробки, реалістичність цілей, завдань, доречність і адекватність обраних об’єктів, теоретичної основи діяльності і очікуваних результатів, потреби в ресурсах. Вхідна оцінка вимагає від оцінювачів:

· вивчення ситуації (середовища, в якому і для якого розробляється проект), що досить часто стає важливою умовою, яка визначає майбутню ефективність, а іноді й доцільність проекту;

· вивчення логічної моделі проекту (цілей, завдань, об’єктів, методів тощо), що уможливлює оцінку відповідно до теорій змін; адекватну оцінку в разі зміни завдань, інших чинників під час реалізації проекту тощо;

· відпрацювання критеріїв оцінки (з урахуванням того, що критерії оцінки результатів зазвичай легше розробляти, ніж критерії оцінки процесів);

· аналізу досвіду реалізації аналогічних проектів, що дає змогу досягти більшої ефективності з меншими витратами завдяки виключенню неефективних дій, що мали місце в інших проектах.

Оцінка на виході (підсумкова) здійснюється пізніше у таких випадках, коли програма проектної діяльності розроблена і слід прийняти рішення щодо її впровадження. Для цього може бути влаштоване пілотування або експериментальна перевірка розробленої програми діяльності із обмеженим контингентом користувачів і малими ресурсами. В цьому випадку підсумкова оцінка має підтвердити результати базової і, при потребі, показати, що слід скоригувати у розробленій програмі. Підсумкова оцінка здійснюється також коли проект (або окремий вид діяльності) закінчується і потрібно оцінити досягнуті результати та уроки, які випливають із проектної діяльності. Метою вихідної оцінки після закінчення виконання проекту є надання фундаторам, донорам, розробникам тощо інформації для прийняття рішень стосовно продовження або припинення, звуження або поширення проекту.

Поточна оцінка застосовується, коли проект (або окремий вид діяльності у межах цього проекту) вже впроваджений і, не очікуючи його закінчення, потрібно оцінити перебіг подій – чи насправді реальна діяльність відповідає запланованій, чи потрібні якісь зміни, наприклад коригування завдань, охоплення, ресурсів тощо. Крім того, соціальні проекти, як правило, мають ту властивість, що в ході впровадження змінюються і до цих змін адаптуються. Такі зміни можуть походити, наприклад, від менеджерів, якщо проглядаються більш ефективні шляхи досягнення результатів; від змін декотрих виконавців; від вимог клієнтів, які в ході проекту розвинули свої потреби тощо. Зміни вимагають додаткових розробок проекту, нового планування тощо, і це тягне потребу поточної оцінки, яка дає зворотний зв’язок стосовно того, як удосконалити роботу.

За ознакою того, що саме оцінюється – характеристики діяльності, яка відбувається в межах проекту (процеси) або наслідки цієї діяльності (результати), розрізняють оцінку процесів і результатів.

Оцінка процесів зосереджена на залученні учасників, видах діяльності, заходах, роботі персоналу, діях клієнтів тощо. Оцінка результатів зосереджена на тому, що сталося з клієнтами внаслідок участі в проекті. Оцінка процесів вивчає ефективність проектної діяльності, застосованих методів соціальної роботи, визначає необхідність їх змін і поліпшення. Для цього можуть бути використані показники кількісних характеристик послуг, що надаються, їх якості, характеристики клієнтів, механізмів надання послуг, методик самого оцінювання. Така оцінка вивчає складові проектної діяльності, дії учасників проекту, взаємини і впливи, що складаються серед виконавців, клієнтів, тих, хто приймає рішення, та в навколишньому середовищі.

Оцінка результатів застосовується щодо проектів, які вже активно реалізуються і пройшли певні етапи становлення або уже завершені. Вивчаються як передбачені, так і не передбачені результати. Така оцінка може стосуватися як короткострокових наслідків, змін, що сталися з учасниками проекту (наприклад, ступеня участі, поінформованості, знань, поведінки), так і довготермінових, які справляють тривалий вплив на громаду. Оцінкою наслідків може бути аналіз результатів у різних аспектах: витрат (оцінювання економічної ефективності), змін ставлення учасників до проблем, змін кількості учасників і клієнтів, змін у політиці, аналіз досягнень тощо.

Основні аспекти, які зазвичай охоплює оцінка результатів такі:

· оцінка змін щодо ставлення до проблеми, знань чи поведінки. Наприклад, в ході реалізації проекту боротьби з курінням серед молоді оцінюється, наскільки збільшилася кількість підлітків (учасників проекту), які свідомо проявляють негативне ставлення до куріння, наскільки вони розширили свої знання стосовно шкоди куріння і, нарешті, наскільки змінилася їхня поведінка (за такими показниками: певна кількість, нехай і зовсім невелика, кинула курити, хтось намагається курити набагато менше, в тих, хто не курив, не виникає бажання спробувати);

· кількісна оцінка учасників чи клієнтів проекту. Оскільки участь у соціальних проектах добровільна – збільшення кількості учасників може само по собі слугувати позитивним показником ефективності. Наприклад, якщо на початку розбудови проекту “Молодіжні клуби-кафе” в одному з міст України взяли участь 22 особи, а через півроку їх стало 14, – це негативний показник ефективності. Коли наступного року кількість членів клубу не змінилася, це, певною мірою, був позитивний показник, хоча переконливим стосовно ефективності проекту став показник кількості учасників, виміряний два роки по тому, коли він сягнув за 50 осіб.

· аналіз ефективності. Висновки щодо кількісних та якісних змін показників ефективності реалізації проекту повинні ґрунтуватися на наукових методах вимірювання (спостереження, опитування тощо). Аналіз ефективності передбачає відповіді на запитання: чи досягнуті поставлені цілі, які були перешкоди, які позитивні наслідки матиме реалізація проекту;

· аналіз рентабельності. Така оцінка стосується вигоди проекту в грошовому вимірі. Вигода оцінюється з урахуванням досягнень або якісних результатів, у тому числі їх грошової вартості. Такий вид аналізу має допомогти організаторам вирішити, наскільки отримана вигода відповідає витратам на проект, порівняти це з досвідом інших проектів схожого спрямування (можливо, існують дешевші проекти, що можуть дати таку саму або навіть більшу вигоду);

· аналіз змін у політиці. Оцінюється вплив проекту на соціальну політику в середовищі, де проект діє. Наприклад, спеціально організоване в межах проекту навчання тих, хто приймає рішення, може сформувати в них зацікавленість і розуміння проблем, що вирішуються в проекті, викликати підтримку цієї діяльності на політичному рівні, уможливити відповідні управлінські рішення і отримання додаткових ресурсів для проекту;

Дата добавления: 2015-06-25