Что такое общественный мониторинг?

Общественный мониторинг – это инструмент системного повышения качества услуг и эффективности реализации программ, а не очередной канал для жалоб и обращений граждан. Общественный мониторинг ни в коем случае не является заменителем каналов обратной связи государственных органов, а также механизмов внутреннего контроля качества. Общественный мониторинг дает оценку реализации программ/оказания услуг со стороны общественности и, прежде всего, граждан.

Важно: результатом общественного мониторинга не является поиск виновных в проблемных ситуациях (этим занимаются другие ведомства). Цель не в том, чтобы наказать кого-то, а в том, чтобы не допустить ошибок в будущем.

Как правило, в ходе осуществления проекта, проводится несколько видов мониторинга, тематика которых определяется конкретными информационными потребностями. Важно помнить о том, что все виды мониторинга часто проводятся одновременно в рамках общей системы мониторинга.

Мониторинг результатов позволяет отслеживать эффекты и воздействия. При этом мониторинг сливается с оценкой для определения того, достигает ли проект/программа намеченных результатов (промежуточные результаты, конечные результаты, воздействие) и не влечет ли он/она за собой каких либо непреднамеренных последствий (положительных или отрицательных).

Мониторинг мероприятий позволяет отслеживать использование вложений и ресурсов, а также прогресс в осуществлении деятельности и обеспечении промежуточных результатов. В ходе такого мониторинга изучается то, каким образом обеспечивается реализация мероприятий, т.е. какова эффективность с точки зрения временных и ресурсных затрат. Обычно такой мониторинг проводится одновременно с мониторингом соответствия и служит основой для оценки эффективности.

Мониторинг соблюдения стандартов обеспечивает соответствие правилам предоставления финансирования и ожидаемым результатам; требованиям, установленным контрактами; нормативным требованиям и законам, принятым органами власти; соответствие проектно – сметной документации; а также этическим стандартам.

Мониторинг бенефициаров помогает отслеживать восприятие проекта со стороны получателей помощи. Сюда относится удовлетворенность или неудовлетворенность бенефициаров, на которых была направлена программа, включая такие аспекты, как участие, доступ к ресурсам и общая ощутимость изменений. Данный вид мониторинга, который иногда называют мониторингом настроений бенефициаров, часто включает в себя механизм сбора жалоб и предложений со стороны заинтересованных сторон. Помимо этого, он должен учитывать различия между группами населения, а также настроения косвенных получателей проекта.

Финансовый мониторинг обеспечивает отслеживание и учет затрат по каждому виду вложений и мероприятию в рамках заранее определенных статей расходов. Как правило, он проводится вместе с мониторингом результата и мероприятий.

В зависимости от целей и масштабов выбранного объекта мониторинга, можно комбинировать вышеперечисленные виды.

В то время, как мониторинг предоставляет в режиме реального времени информацию, необходимую для управления, оценка обеспечивает более глубокий анализ. Процесс мониторинга может выявить вопросы, на которые ответит оценка. К тому же оценка в значительной мере опирается на информацию, полученную посредством мониторинга в ходе проектного цикла, к примеру, на такую, как исходные данные, информация о ходе выполнения проекта и показатели результатов.

Оценка – это анализ результатов деятельности или производственного эффекта от реализации проекта, плана или программы. Цель – оптимизировать деятельность программы; проверить соответствие реализованному плану; проанализировать причины достижения/не достижения запланированных результатов мероприятия. Данные оценки дают возможность изучить реализацию программ, выявить проблемы и предложить направления на будущее. Оценка проводится на ключевых этапах проекта, что позволяет повысить шансы для достижения желаемых результатов посредством тех или иных мер. Обычно это по окончании запланированного периода, в момент вступления проекта в новую фазу или при возникновении какого-либо конкретного и очень важного вопроса.

Существует целый ряд различных видов оценки, которые можно классифицировать разными способами. Однако выбор подходов и методов при проведении оценки в конечном итоге определяется целевой аудиторией и задачами оценки. Приведём пример несколько, широко распространенных, видов оценки.

Среднесрочная оценка является формирующей по своим целям и проводится на промежуточном этапе реализации проекта. При реализации проектов (обычно в рамках программ) в течение более чем 24 месяцев, требуется проведение какого-либо средне-срочного оценивания, оценки или анализа. Как правило, такая оценка не обязательно должна быть внешней или зависимой и может проводиться с учетом конкретных аналитических потребностей.

Итоговая, окончательная оценка является итоговой по своим целям и осуществляется (часто внешними силами) по окончании проекта для выяснения того, в какой степени проект достиг поставленных целей. Также оценивается эффективность и воздействие.

Внутренняя или самооценка осуществляется лицами, ответственными за реализацию проекта. Такая оценка может быть менее дорогостоящей, чем внешняя, и способствовать развитию кадрового потенциала и повышению уровня ответственности. Однако такая оценка может не вызывать достаточного доверия у определенных заинтересованных сторон, поскольку может восприниматься как более субъективная (пристрастная или односторонняя).

Внешняя или независимая оценка проводится специалистами, не входящими в число сотрудников проекта, что в определенной степени повышает её объективность и компетентность. Внешняя оценка в большей степени ориентирована на выявление уровня ответственности и воздействия. Оценка воздействия сосредоточена на эффекте от проекта, а не управлении и выполнении задач. По этоу причине она обычно проводится после завершения проекта, программы в рамках окончательной/финальной оценки. Однако воздействие проекта можно измерить и на этапе реализации длительного проекта, если это представляется возможным.

Также оценка проводится с привлечением бенефициариев и других основных заинтересованных сторон, что может способствовать расширению их возможностей, а также повышению их потенциала, ответственности и уровня поддержки.

Соглашение об уровне услуги (Service Level Agreement) — это формальный договор между заказчиком (в методологии потребитель - разные понятия) услуги и её поставщиком, содержащий описание услуги, права и обязанности сторон и, самое главное, согласованный уровень качества предоставления данной услуги.

Как правило термин SLA используется применительно к ИТ и телекоммуникационным услугам. В таком соглашении может содержаться детальное описание предоставляемого сервиса, в том числе перечень параметров качества, методов и средств их контроля, времени отклика поставщика на запрос от потребителя, а также штрафные санкции за нарушение этого соглашения.

Параметры качества услуги, указанные в SLA, должны быть измеримыми, т.е. представимыми в виде числовых метрик.

Например для услуги доступа в Интернет это может быть максимальное время недоступности, максимальное суммарное время недоступности за период (например месяц). Скорость доступа при этом является плохим параметром, поскольку зависит как правило не только от оператора, но и от других операторов, от загруженности сервера сайта и т.п., на что как правило поставщик повлиять не может.

Как правило в SLA определяется период, за который поставщик услуги предоставляет заказчику отчет об измеренных параметрах качества.

Далеко не всегда ИТ-руководитель имеет статус, аналогичный западному CIO (Chief Information Officer), — заместителя генерального директора или вице-президента, отвечающего за информационную поддержку бизнеса и получающего в этом качестве существенно более широкие полномочия и больший компенсационный пакет, нежели те, на которые может рассчитывать ИТ-директор. CIO — это высший, наиболее привилегированный статус ИТ-менеджера на предприятии, выше него — только глава компании или организации и топ-менеджеры в ранге первых и старших вице-президентов и заместителей генерального директора, отвечающие за отдельные бизнес-направления.

Домен "Мониторинг и оценка": процессы, отвечающие за мониторинг и оценку деятельности ИТ

Ключевые слова: эффективное управление, определение, мониторинг, информация, CIO, SLA, затраты, ущерб, вероятность, анализ, аудит, CEO, очередь, контроль, интеграция

15.1. ME 1. Мониторинг и оценка эффективности ИТ

Эффективное управление производительностью ИТ требует мониторинга. Данный процесс включает в себя определение индикаторов эффективности, систематическую и своевременную отчетность об эффективности, а также безотлагательные меры в случае обнаружения отклонений. Мониторинг необходим для уверенности в том, что все делается правильно, в соответствии с принятыми направлениями и политиками.

Рис. 15.1. Процесс "Мониторинг и оценка эффективности ИТ"

удовлетворяет следующим бизнес требованиям к ИТ

прозрачность и понимание затрат на ИТ, преимуществ, стратегии, политик и уровней услуг в соответствии с требованиями корпоративного управления.

мониторинге и отчетности по показателям процессов, а также на выявлении и реализации действий по повышению эффективности.

· Составления и преобразования отчетов об эффективности процессов в управленческую отчетность.

· Анализа эффективности согласно поставленным целям и инициировании корректирующих действий.

результаты оцениваются с помощью следующих показателей

· Удовлетворенность руководства отчетностью об эффективности.

· Число действий по совершенствованию по результатам мониторинга.

· Доля критических процессов, охваченных мониторингом.

В таблице 15.1 представлена информация, необходимая для процесса и ее источники.

Таблица 15.1.
Источник	Входящая информация
PO 5	Отчеты о затратах и выгодах
PO 10	Отчеты об эффективности проектов
AI 6	Отчеты о статусе изменений
DS 1-DS 13	Отчеты об эффективности процессов
DS 3	Требования плана по производительности и мощностям
DS 8	Отчеты об удовлетворенности пользователей
ME 2	Отчеты об эффективности мер ИТ-контроля
ME 3	Отчет о соответствии ИТ-деятельности внешним требованиям законодательства и регулирующих норм
ME 4	Отчет о статусе корпоративного ИТ-управления

В таблице 15.2 приведены результаты процесса и то, куда они должны поступить.

Таблица 15.2.
Результаты	В процессы
Требования по эффективности ИТ-планирования	PO 1	PO 2	DS 1
Планы корректирующих действий	PO 4	PO 8
Ретроспективный анализ рисков и инцидентов	PO 9
Отчет об эффективности процессов	ME 2

Таблица 15.3 содержит таблицу ОУКИ для процесса, а таблица 15.4 – цели и показатели.

Таблица 15.3.

Действия\Функции

Президент

Финансовый директор

Высшее руководство

Директор по ИТ

Владелец бизнес-процесса

Руководитель эксплуатации системы

Главный архитектор ИТ-системы

Руководитель разработок

Руководитель администрации ИТ

Руководитель проектного офиса

Аудит, риски, безопасность

Разработать подход к организации мониторинга

Определить и собрать измеряемые цели и поддерживать бизнес-цели

Создать систему сравнительных показателей

Провести оценку эффективности деятельности ИТ

Вести отчетность по эффективности деятельности ИТ

Таблица 15.4.

Цели

Показатели

ИТ: · обеспечить соответствие требованиям корпоративного управления и руководящим указаниям Совета директоров · обеспечить соответствие бизнес-требованиям и корпоративной стратегии · убедиться в том, что ИТ обеспечивает эффективное с точки зрения затрат качество услуг, постоянное совершенствование и готовность к изменениям в будущем

· число изменений в целях эффективности ИТ-процессов и индикаторах эффективности · удовлетворенность руководства отчетностью об эффективности · сокращение числа недостатков в процентах

Процесса: · поставить измеряемые цели для ИТ и основных процессов · вести измерение, мониторинг и отчетность по показателям процессов · определить и реализовать на практике действия по повышению эффективности

· уровень удовлетворенности заинтересованных сторон процессом измерения показателей · доля критических процессов, охваченных мониторингом · число действий по совершенствованию, вызванных мониторингом · число достигнутых целей по эффективности (контролируемых индикаторов)

Действия: · составление и преобразование отчетов по эффективности процессов в управленческую отчетность · анализ эффективности достижения поставленных целей и инициирование корректирующих действий

· временная задержка между отчетом о недостатках и корректирующим действием · задержка в обновлении измерений, отражающих текущие цели по эффективности, показатели и сравнительный анализ · число показателей из расчета на процесс · объем усилий, необходимых для сбора значений показателей · число проблем, не выявленных в ходе процесса оценки · доля показателей, которые могут использоваться при сравнительном отраслевом анализе и анализе групп целей

Разработать общую методологию мониторинга и подход к определению масштаба, методологии и процесса оценки ИТ-решений и оказания услуг, а также мониторинга вклада ИТ в бизнес. Интегрировать эту методологию в корпоративную систему оценки эффективности.

· ME 1.2. Определение и сбор данных мониторинга

Совместно с бизнес подразделениями разработать сбалансированную систему целей эффективности, утвердить ее на корпоративном уровне и обеспечить поддержку всех заинтересованных сторон. Определить виды сравнительного анализа для сопоставления целей и выявить данные, приемлемые для сбора в качестве показателей оценки достижения данных целей. Разработать процессы своевременного сбора достоверных данных для отчетности по достижению целей.

Внедрить методику мониторинга эффективности (например, сбалансированную систему показателей) для учета целей и показателей, получения емкой, всесторонней характеристики ИТ-эффективности и обеспечения совместимости с корпоративной системой мониторинга.

Периодически проводить проверку текущей эффективности в сравнении с поставленными целями, анализировать случаи отклонения, предпринимать корректирующие действия в отношении выявленных причин. В необходимое время проводить анализ первопричин в отношении отклонений.

· ME 1.5. Отчетность перед высшим руководством и Советом директоров

Разработать отчетность перед высшим руководством по вкладу ИТ в развитие бизнеса, с учетом характеристики эффективности связанных с ИТ инвестиционных программ в корпоративном портфеле, а также в части эффективности автоматизированных решений и предоставляемых ИТ сервисов в разрезе инвестиционных программ. Обозначить в отчетности тот уровень, до которого продвинулось достижение запланированных целей, объем использованных бюджетных ресурсов, перечень достигнутых целей по эффективности и минимизацию выявленных рисков. Предварять отчетность перед высшим руководством предложением корректирующих действий в отношении наиболее существенных отклонений. Предоставить отчетность высшему руководству и запрашивать замечания по итогам анализа со стороны руководства.

Определить и реализовать на практике корректирующие действия, основанные на данных мониторинга эффективности, оценках и отчетности. Эти действия включают в себя следование рекомендациям по результатам мониторинга, отчетности и оценкам посредством:

o Анализа, обсуждения и принятия ответных действий со стороны руководства.

o Назначения ответственных лиц за выполнение корректирующих действий.

o Отслеживания результатов выполненных корректирующих действий.

Мониторинг и оценка эффективности ИТ является очень важным процессом в рамках Управления ИТ. Допустим, Вы как CIO, разработали стратегию развития ИТ, которая поддерживает бизнес-цели, приобрели и разработали соответствующие решения, организовали поддерживающее обслуживание и т.п. Но как Вам показать руководству, что ИТ работает хорошо на благо бизнеса? Этот процесс является аналогом получения диплома в конце обучения в университете. Упрощенно это выглядит, как показано в таблице 15.5.

Таблица 15.5.
ИТ-услуга	Бизнес-спонсор	Достижения для бизнеса	Эффективность затрат	Уменьшение последствий рисков
CRM	маркетинг (вице-президент или топ-менеджер)	продажи выросли на 20 процентов (10 процентов было запланировано)	высокая	среднее
HR-система	служба человеческих ресурсов (вице-президент или топ-менеджер)	…	средняя	плохое. Сотрудники оспорили использование отпечатков пальцев для проверки присутствия на работе.
….

В таблице 15.5 условно показаны основные вопросы, которые могут быть интересны бизнесу – выгоды, эффективность затрат и уменьшение вероятности рисков или потенциального ущерба. Возможно, бизнес заинтересуют более точные цифры – тогда можно представить их в показателях, оговоренных в SLA. Помимо указанной информации, нужно представать видение того, как исправить плохие показатели или избежать возникновения непредвиденных обстоятельств в дальнейшем. В рассмотренном в таблице 15.5 примере HR-система (система для управления посещаемости и другими аспектами работы) предполагает сбор отпечатков пальцев сотрудников. Сотрудники отказались сдавать свои данные, сославшись, например, на закон. CIO в отчете должен указать причину возникновения подобной ситуации и способы как ее в дальнейшем избежать (таблица 15.6).

Таблица 15.6.
Решение для	Проблемы отпечатков пальцев в HR-системе
Владелец проблемы	CIO
Исправление	После обсуждения с юристами, сотрудникам было разрешено использовать старые электронные пропуска. Сотрудники были удовлетворены таким решением.
Причина	Юристы не были привлечены к планированию функционала системы
Превентивные меры	Процесс планирования функционала новых систем будет обновлен – юристы всегда будут участвовать

Конечно, в реальности подобные отчеты гораздо сложнее, но суть остается одна – необходимо показать выгоды предоставляемых ИТ-услуг, то, что затраты на них обоснованы, как они уменьшают потенциальный ущерб или снижают вероятность риска, какие есть проблемы и пути их решения.

Мониторинг и контроль качества включает функции по упорядочению рабочих процессов; определению измеряемых параметров и характеристик их качества, методов их измерения; организации сбора, хранения, обработки и распространения информации о деятельности; обеспечению непрерывного слежения за состоянием и прогнозированию развития.