Особенности измерения результата в области государственного управления

Программно-целевое управление, по сути, представляет собой постановку цели и измерение результата ее реализации. Однако в сфере государственного управления имеются определенные трудности, связанные с выработкой показателей, отражающих результат деятельности государственных структур. Специфика данной отрасли накладывает весьма существенные особенности и ограничения по применению измеряемых результатов. Поэтому, рассматривая проблемы поиска показателей результативности, не удается обойти некоторые методологические аспекты определения понятия результативности, типы и критерии выбора показателей его измерения.

Под показателем результативности (Performance Measure) в самом широком смысле понимают описательный или количественный индикатор, характеризующий результат деятельности или успешность движения к достижению поставленной цели. В научной литературе одинаково часто используются категории «показатель результативности» и «индикатор результативности». По мнению большинства авторов не существует различия между этими двумя терминами. Показатель результативности – «количественный или качественный показатель (индикатор), характеризующий результат деятельности или успешность движения к достижению цели (задачи) организации. Это показатель, позволяющий определить, действительно ли организация (орган власти, программа, агентство, государство) достигает поставленных целей» [1].

По определению Г. Хатри, показатель результативности представляет собой «конкретную численную меру, показывающую, какой прогресс достигнут на пути к результату; название показателя результативности обычно начинается со слов «количество», «процент», «отношение», «частота», «доля» и т.п.» [2]. По мнению Р. Алена и Д. Томасси, показатели используются для измерения «конечных (outcome), непосредственных (output) результатов программ, политик, деятельности организаций, а также объема ресурсов, необходимых для их осуществления» [3].

Предлагаемые различными авторами методологии определения и измерения результатов в государственном секторе разнообразны и до сих пор не существует единого стандарта формулировки и увязки показателей. В частности довольно известная в практике корпоративного менеджмента концепция «SMART» предполагает, что любая цель, которую мы ставим, или с которой работаем, должна быть [4]:

Соответственно показатели достижения целей также должны отвечать этим характеристикам.

В литературе встречаются и другие примеры требований, предъявляемых к показателям результативности. Так, К. Вандервиль приводит следующий набор свойств «хороших показателей» [5]:

Четкость и однозначность, простота в понимании и использовании;

В России вопросы измерения и оценки деятельности органов власти и их учреждений содержатся в целом ряде нормативно-правовых документов [см., напр., 6, 7, 8]. В [8], в частности, сформулированы следующие требования к применяемым показателям:

адекватность отражения происходящих социально-экономических изменений: отчетные данные должны быть достаточно точными, погрешности измерения не должны приводить к искаженному представлению о результатах;

объективность: показатели не должны приводить к искажению деятельности организации, когда формальное выполнение функции ведет к улучшению отчетности и ухудшению реального положения дел;

достоверность: способ сбора и обработки исходной информации должен допускать возможность проверки точности полученных данных;

прозрачность: следует избегать излишне сложных показателей, должна быть обеспечивать однозначность их интерпретации;

экономичность: получение отчетных данных должно производиться с минимально возможными затратами;

сопоставимость: выбор показателей следует осуществлять исходя из необходимости непрерывного накопления данных и обеспечения их сопоставимости за отдельные периоды и с показателями, используемыми для оценки прогресса в решении сходных (смежных) задач;

своевременность и регулярность: отчетные данные должны поступать со строго определенной периодичностью и с незначительным временным лагом;

полнота: отчетные показатели не должны приводить к искажениям значимости отдельных функций».

На практике в качестве показателей результативности деятельности может выступать достаточно большое количество социально-экономических, технических, личностных, промежуточных и конечных показателей, которые могут быть представлены различными типами. В современной литературе их обычно увязывают с производительностью (productivity), общественной (effectiveness) и экономической (efficiency) эффективностью. Причем результаты государственного управления имеют как экономическое, так и общественное (социальное) измерение. Именно в этом во многом состоит специфика общественного сектора по сравнению с коммерческим сектором экономики. Именно сложности измерения приводят к тому, что, как правило, применяемые показатели измеряют не только собственно результативность, но и экономичность, и эффективность. Взаимосвязь этих показателей между собой иллюстрирует рисунок 1.

Другим следствием сложности измерения является тот факт, что результаты деятельности очень часто разделяются на непосредственные (outputs) и конечные (outcomes) [см., напр., 9, 10, 11 и др.]. Непосредственные результаты деятельности выражаются, как правило, в количественных характеристиках объема проделанной работы, а конечные – в достижении социально значимых целей и задач органов власти.

Рис.1. Взаимосвязь показателей результативности

Показатели конечных общественно значимых результатов характеризуют степень, в которой деятельность или процесс в рамках определенной программы способствуют достижению заявленных целей. Они оценивают тот эффект, который общество (отдельные граждане или социальные группы) получает от деятельности главных распорядителей бюджетных средств. Конечные результаты – это, в сущности, совокупность реально достигнутых результатов и их влияние на ситуацию в обществе. Программы, связанные с оказанием направленных на человеческое развитие услуг, могут иметь конечные результаты, характеризующиеся изменениями в поведении, знаниях и навыках людей, их ценностях, условиях жизни, статусе и т.п. Эти показатели, по сути, отражают то, что знают, думают или умеют делать граждане; отражают модели их социального поведения или условия их жизни, а также вызванные реализацией программы изменения в этих условиях. Показателями непосредственных результатов такой программы будут количество проведенных учебных курсов, процентное отношение удовлетворенных их качеством слушателей и в уровне их подготовки. Показателями конечных результатов в этом случае станут процент учеников, получивших на выпускных экзаменах балл, превышающий средний по стране; снижение количества смертных случаев при пожарах, снижение уровня смертности на дорогах и т.д. [11].

В некоторых случаях разницу между показателями непосредственных и конечных результатов очень трудно определить. Существуют ситуации, когда непосредственные и конечные результаты – одни и те же. Однако в большинстве случаев их можно дифференцировать. Например, для Центра планирования семьи и репродукции п оказателем непосредственного результата может являться: число семей, прошедших лечение от бесплодия в Центре. Показатель же конечного результата: число семей, в которых в течение года после прохождения лечения появились дети.

По сравнению с показателями конечного эффекта показатели непосредственного результата проще формулируются, их исполнение легче контролируется. Поэтому высока вероятность вытеснения ими показателей конечного эффекта. В таких случаях может возникнуть ситуация «деятельности ради деятельности», так как показатели непосредственного результата отражают только деятельность органа власти, учреждения или организации, но не реализацию их целей.

Данное явление встречается в литературе под разными названиями («игра в цифры» в работах Л.И. Якобсона [12, 13, 14], «стратегическое поведение» в работах Х. де Брюйна [9], «подтасовка результатов» в работах Г. Хатри [2], «сигнализация» в работах В.Л. Тамбовцева [15, 16]). Однако его содержательная сторона остается неизменной: ведя себя оппортунистически, организация не столько решает поставленную перед ней задачу, сколько добивается требуемого (установленного сверху) значения показателя способом, который представляется ей наиболее простым, экономящим время и усилия.

Не все, что важно, может иметь количественную характеристику. Некоторые виды деятельности и результаты плохо поддаются количественному измерению. Например, результативность предоставления услуг в области культуры теоретически может быть оценена измерением уровня культуры общества. Очевидно, что разработать достоверные показатели и собрать информацию для оценки такого результата практически невозможно. Сложности перевода результатов в показатели результативности порождают вполне адекватные споры относительно применимости управления и бюджетирования по результатам в условиях государственного сектора. Одни исследователи отстаивают его преимущества, полагая, что государственные учреждения подобно коммерческим организациям производят продукты и услуги – следовательно, эффективность их деятельности поддается оценке; их оппоненты настаивают на невозможности или ограниченности проведения такой оценки в силу специфичности услуг и производимых в государственном секторе продуктов.

Оценка деятельности может быть затруднена и вследствие отсроченности результатов во времени. Так, главными потребителями услуг по охране и реставрации культурного наследия станут будущие поколения, поэтому оценка вклада культуры за определенный период (например, год) будет неполной, а значит, и недостаточно корректной. Аналогичным образом, финансирование по результатам в образовании основано на результатах, достигнутых сразу и вскоре после окончания обучения, что частично объясняется природой финансирования и необходимостью минимизировать промежуток времени между предоставлением обучения и его оплатой. При этом учитывают трудоустройство выпускников в определенную неделю после окончания обучения и другие краткосрочные показатели, на основании которых нельзя оценить отсроченные результаты.

Также следует отметить, что результаты деятельности во многом подвержены влиянию внешних факторов, порождающих как положительные, так и отрицательные эффекты. На практике оказывается очень трудным оценить конечные результаты деятельности в чистом виде, без учета воздействия внешних факторов.

В определенных ситуациях результаты деятельности труднопредсказуемы. Ряд государственных организаций являются в значительной степени процессно-ориентированными. Так, организации, работающие в среде, где действуют несколько участников, обязаны уделять внимание консультациям и переговорам с ними. Конечный результат переговоров может быть труднопредсказуемым, хороший процесс может привести к неутешительным результатам. Нечто подобное наблюдается и в научно-исследовательских учреждениях, где результаты инновационного исследования с трудом поддаются прогнозированию. Хорошо продуманный и тщательно проведенный научный эксперимент может разочаровать либо скромными результатами, либо полным их отсутствием [9].

Разумеется, объем охвата результатов показателями ограничен как имеющимися ресурсами, так и проблемами, связанными с самими данными. Любая формализация предполагает упрощение, а соответственно и какие-то потери. Таким образом, успешность применения результативного подхода всегда относительна и определяется тем, насколько в том или ином конкретном случае удается минимизировать потери. Главная задача состоит в том, чтобы представить надежные и полезные данные, на которые можно положиться, и в то же время указать на ограничения, присущие выбранным показателям.

Государственному управлению с точки зрения теории оценок эффективности и результативности свойственны «органические» проблемы, затрудняющие использование количественных измерителей результативности. Особенности, присущие природе государственного (муниципального) управления и сужающие возможности применения показателей результативности, обобщены в таблице 1.

Очевидно, следует признать, что именно сложности в измерении, связанные с теми особенности измеряемой области, которые перечислены выше, заставляет разработчиков и практиков применять массу различных показателей, которые в той или иной мере отражают как сам процесс, так и многие разновидности получаемых результатов.

Таблица 1. Особенности государственного (муниципального) управления, затрудняющие использование количественных измерителей результативности

№ п/п	Особенность, ограничивающий фактор	Примеры
1.	Результат работы зависит от совместной деятельности многих участников	Здоровье нации формируется под воздействием не только системы здравоохранения, но и образования, и экологии и др.
2.	Между действием и получаемым результатом – значительный временной лаг	Работу родильного дома в текущем моменте оценить нельзя. Его влияние на здоровье нации проявится через некоторое время. Работу образовательных учреждений можно будет оценить только по истечению нескольких лет
3.	Отсутствие единственного, «правильного» показателя оценки при необходимости иметь результирующий (единый) вывод	Используется набор показателей: производительности, эффективности, качества работы в краткосрочном и долгосрочном периодах, но нет единого итогового вывода.
4.	Чаще оценка привязывается к бюджетному циклу, годовому (хотя создание продукта, оказание услуги может иметь и другой временной период)	Образование в учебном учреждении, как правило, длится несколько лет, тогда как финансирование этого учебного учреждения планируется и осуществляется ежегодно. Больные с хроническими диагнозами болезни получают медицинские услуги на протяжении многих лет.
5.	При создании процедур оценки эффективности почти всегда найдутся продукты, не входящие в нее	Крупные судебные дела являются одновременно и более сложными, требующими участия более квалифицированных кадров. Но тогда количество дел, которое ведут более квалифицированные кадры будет меньше, чем количество дел, которое ведут менее квалифицированные.
6.	Система оценки имеет склонность к разрастанию. Желание оценить «по заслугам» все виды деятельности	Указ Президента № 825 содержит всего 43 показателя оценки, а изданное в целях его детализации Постановление Правительства № 322 порядка 300 показателей
7.	Противоречие фактических результатов с непосредственными.	В городе произведена вакцинация от сезонных заболеваний гриппом (фактический результат), количество пациентов в поликлиниках сократилось (нет непосредственного результата)
8.	Увеличивается производимый «продукт», но с требованиями целесообразности этот рост не является действенным, а имеет отрицательное воздействие	- Милиция не принимает заявления от граждан – повышается эффективность ее деятельности - ФБР увеличивает число арестов, арестовывая дезертиров, а не правонарушителей – процент дел, подлежащих преследованию в судебном порядке крайне низок. Но эффект деятельности ФБР – высок [9]
9.	Организация, оптимизируя ресурсы для достижения результатов, жертвует амбициозными (инновационными) планами.	Разработки в научно-исследовательском институте, не оформленные посредством публикаций, не могут считаться результатом. В свою очередь увеличение числа публикаций снижает результативность научных исследований [9]
10.	Применение формальных методов (показателей) оценки приводит к росту бюрократии	Оценка качества работы детского сада по количеству дето-дней. Оценка рейтинга преподавателей по количеству публикаций
11.	Оценка эффективности ведет к конкуренции (конфликтам) между родственными организациями	- Школы не хотят делиться передовым опытом - Те, кто заполняют документы, знают лучше, как их заполнять, чем как действительно улучшить работу организации
12.	В малых (простых) организациях связь между внутренними процессами и результатами – прямая. В сложных организациях связь не всегда четко наблюдается	Количество принятых больных в поликлинике или больнице: чем их больше, тем лучше работает учреждение
13.	Система оценки эффективности несостоятельна без использования качественных методов анализа	Это относится, прежде всего, к результатам, которые нельзя выразить в количественных показателях (например, деятельность суда)
14.	Система оценки является системой анализа – побуждает к дальнейшему изучению («спусковой крючок»)
15.	Перед «прозрачной» и более эффективно работающей организацией ставятся более сложные задачи (но за меньшие ресурсы). А «непрозрачная» организация «вознаграждается» теми же ресурсами и задачами	По существу действует известное правило - «Инициатива – наказуема»

Множественность показателей, их типов, особенностей применения и пр. не снимают с повестки дня заключительный в некотором смысле вопрос итоговой оценки деятельности органов власти. В конце концов, надо дать заключительную оценку «хорошо» или «плохо» по какой-либо принятой шкале. А множественность применяемых индикаторов и специфика их применения как раз и затрудняет выработку такой оценки.

Подход, разработанный Институтом всемирного банка, заключается в использовании интегрального показателя государственного управления (Governance Research Indicator Country Snapshot - GRICS) [10]. Данный показатель оценивает эффективность управления и состоит из 6 индексов, отражающих 6 параметров государственного управления: право голоса и подотчетность; политическая стабильность и отсутствие насилия; эффективность правительства; качество законодательства; верховенство закона и контроль коррупции. Показатель GRICS получил широкое распространение, поскольку позволяет проводить межстрановые сопоставления. Показатель измеряется с 1996 г. с периодичностью раз в 2 года.

В Российской практике подобная проблема весьма актуальна. При весьма значительном количестве индикаторов, характеризующих при этом совершенно разнообразные отрасли, хотелось бы иметь итоговый интегральный показатель. Однако такового не имеется.

Таким образом, все выше сказанное позволяет говорить о наличии определенных особенностей применения измерителей к сфере государственного управления. Результаты в данной сфере не всегда поддаются количественной оценке, а если и поддаются, то эта оценка не может быть единой и должна рассматриваться в совокупности с целым рядом других оценок. Кроме того, измерение и формализация результатов в государственном управлении – это всегда упрощение, которое ведет к искажению реальных результатов. При всем при этом необходимость показателей эффективности в данной сфере не вызывает сомнений. Речь очевидно, должна идти скорее об области эффективного применения этих показателей и их содержательном смысле.

1. Жулин А.Б. Показатели результативности как основа административной реформы // Состояние и механизмы модернизации российского государственного управления. – М.: Эпифания, 2004.

2. Хатри Г.П. Мониторинг результативности в общественном секторе / Пер. с англ. – М.: Фонд «Институт экономики города», 2005. – 276 с.

3. Оценка эффективности использования бюджетных средств в части расходов на оказание бюджетных услуг / Е.В. Берездивина, В.Ф. Елисеенко, А.Б. Жулин, Н.М. Сивашева – М.: Издательский дом ГУ-ВШЭ, 2004. – 84 с.

4. Корчанов С.В. SMART — цели [Электронный ресурс] // www.marketing.ru

5. Вандервиль К. Показатели результатов деятельности – введение в концепцию, способы измерения и свойства хороших показателей [Электронный ресурс] // http://www.ecorys.ru

6. Указ Президента РФ от 28.06.2007 г. № 825 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» // СПС «Консультант Плюс».

7. Постановление Правительства РФ от 15.04.2009 № 322 «О мерах по реализации Указа Президента Российской Федерации от 28 июня 2007 г. № 825 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» // СПС «Консультант Плюс».

8. Методические рекомендации по подготовке Докладов о результатах и основных направлениях деятельности субъектов бюджетного планирования на 2006-2008 годы // СПС «Консультант Плюс».

9. Брюйн Х., де. Управление по результатам в государственном секторе / Пер. с англ. – М.: Институт комплексных стратегических исследований, 2005. – 192 с.

10. Добролюбова Е.И. Показатели эффективности реформ государственного управления в России: возможные подходы. Рабочие материалы Всемирного Банка. М., 2004 г.

11. Клищ Н.Н. Показатели эффективности и результативности деятельности органа государственной власти и профессиональной служебной деятельности федеральных государственных служащих // Стратегия реформы государственного управления в России и ее реализация на региональном уровне: Материалы конференций 28-29 сентября 2004 г. и 21 декабря 2004 г. – М.: Издательство «Алекс», 2005.

12. Якобсон Л.И. Бюджетная реформа: федерализм или управление по результатам? Препринт WP8/2006/03. – М.: ГУ ВШЭ, 2006. – 20 с.

13. Якобсон Л.И. Государственный сектор экономики: экономическая теория и политика: Учеб. для вузов / Европейская комиссия ЕС (Tacis). – М.: ГУ ВШЭ, 2000. – 367 с.

14. Якобсон Л.И., Глаголев А.В., Кудюкин П.М. Оптимизация бюджетных расходов на государственное управление и местное самоуправление / Институт переходной экономики, Москва, 2001 г. [Электронный ресурс] // www.iet.ru/usaid/ optima/optima.html

15. Тамбовцев В.Л. Государственное регулирование государства: вопросы теории, международный опыт, российские реформы // Доклады РЕЦЭМ (Издание Российско-Европейского центра экономической политики). – М., 2004. – С. 44-88.

16. Тамбовцев В.Л. Стандарты публичных услуг: экономическая теория, международный опыт и российские реформы // Доклады РЕЦЭМ (Издание Российско-Европейского центра экономической политики). – М., 2004. – С. 129-175.