Показатели, используемые при оценке уровня качества исследования систем управления

Показатель	Сущность и диапазон оценки

Достижение целей исследования	Достигнуты все запланированные цели Достигнуты основные запланированные цели Достигнуты не все запланированные цели
Сроки выполнения исследований	Выполнено досрочно Выполнено в установленные сроки
Ценность результатов	Очень высокая. Высокая Значительная Не высокая Низкая Очень низкая Практически отсутствует (критический показатель)
Уровень новизны результатов	Высокий (результаты новые) Средний (отдельные результаты не новые) Не высокий (значительная часть результатов не новая) Низкий (новые результаты отсутствуют, критический показатель)
Актуальность и значимость исследования	Очень высокая. Высокая Значительная Не высокая Низкая Очень низкая Практически отсутствует (критический показатель)
Возможный масштаб внедрения (реализации) результатов	Межгосударственный Государственный (межотраслевой) Отраслевой Несколько предприятий Одно предприятие
Общественное признание исследования	Количество медалей, дипломов, премий и т.п. на международных, всероссийских, отраслевых выставках, конкурсах и т.п.

Научно-методологический уровень исследования	Соответствие используемых методов, принципов и т.п. современным достижениям науки
Методический уровень исследования	Соответствие используемых методик современным достижениям науки
Предпосылки реализации (внедрения) результатов	Очень высокая. Высокая Значительная Не высокая Низкая Очень низкая Практически отсутствует
Наличие публикации	Количество публикаций (монографий, статей и т.п.) за рубежом Количество публикаций (монографий, статей и т.п.) в РФ
Качество оформления проведенных исследований	Соответствие требованиям стандартов
Объемы реализации (внедрения) результатов	Полностью внедрены Частично внедрены Не внедрены
Эффективность реализации (внедрения) результатов	Очень высокая Высокая Не высокая Не эффективная

Оценка может осуществляется дифференциальным, комплексным либо смешанным методами. Базовую численную величину каждого из рассматриваемых показателей в зависимости от цели оценки следует принимать равной 1. Можно все показатели распределить по группам и для каждой группы рассчитать коэффициенты весомости.

Следует отметить, что при наличии любой критической оценки по любому показателю при не выполнении требования по тому или иному нормативному ограничению (на показатель или группу показателей) дальнейшее рассмотрение вопросов оценки уровня качества исследования становится бессмысленным, т.е. нецелесообразным.

Предварительно остановимся на некоторых определениях терминов по эффективности.

Эффект обычно понимается как результат чего-либо, а нередко его воспринимают как впечатление, произведенное на кого-нибудь; разница между результатом и затратами усилий или ресурсов на их достижение.

Научный эффект исследования – научный результат проведения исследовательских работ, определяемый в виде прибавочных новых знаний.

Практический эффект исследования – результат проведения исследовательских работ, который можно оценить как разность между достигнутым результатом и затратами на его достижение. Одним из видов практического эффекта могут быть социальный, экологический и экономический эффекты.

Эффективный – это значит действенный, т.е. дающий определенный положительный эффект.

Экономия – разница между нормой (нормативом) или удельным расходом какого-либо ресурса, усилия, элементом затрат или затратами на отдельной стадии жизненного цикла объекта до внедрения организационно-технического мероприятия и тем же показателем после его внедрения за определенный период. Экономия исчисляется в натуральном (кг, м, нормо-часы, кВт. Ч и т.д.) либо денежном выражении. Критерием критерия принятия любого управленческого решения служит экономический эффект.

Экономический эффект – один из критериев принятия управленческого решения, определяемый как разность экономических результатов реализации и затрат на его осуществление за определенный (например, нормативный) срок действия. Результаты могут исчисляться экономией времени, материальных, трудовых, денежных и других ресурсов, уменьшением трудоемкости, повышением уровня качества, увеличением объемов производства и реализации продукции и услуг, ускорением оборачиваемости средств и т.п.

Эффективность – соотношение показателей результатов функционирования чего-либо и затрат ресурсов, усилий на его достижение.

Эффективность объекта – результативность создания и использования объекта, определяемая как отношение суммарного полезного эффекта (результатов функционирования) к совокупным затратам ресурсов, усилий на его достижение за весь жизненный цикл.

Эффективность управленческого решения – соотношение показателей результатов выполнения (реализации) и затрат ресурсов, усилий на его достижение.

Эффективность исследования – соотношение показателей результатов исследовательских работ (или степень достижения целей исследования) и затрат ресурсов, усилий на его проведение.

Экономическая эффективность исследования – соотношение показателей полученных экономических результатов исследовательских работ (или степень достижения экономических целей исследования) и затрат на его проведение.

Непереоценимую роль в достижении больших научных и практических эффектов исследований играют принципы, которыми следует руководствовать при проведении исследовательских работ (целенаправленность, целеустремленность, объективность, системны подход, научность и др.). Вместе с тем при выборе показателей крайне важно предварительно знать принципы, которыми следует руководствоваться при определении эффективности исследований СУ.

СУ по своему предназначению направлены на обеспечение высокой эффективности, достижение целей и решение конкретных задач организации. К вопросам определения и оценки эффективности, как исследования системного управления, так и производства существуют различные методические подходы. Все они на первом этапе учитывают в основном только экономические последствия управленческих решений и их результатов. Этим отличаются практически все традиционные методики (условно их можно отнести к методикам первого поколения).

Однако, начиная примерно с 50-60-х гг. ХХ в. Ученые и практики пришли к выводу о необходимости учета, помимо экономического эффекта, социальных и экологических последствий. Для устранения их воздействий в расчетах стали учитывать дополнительные затраты. При невозможности полностью ликвидировать последствия в расчеты закладывали затраты на их компенсацию. Именно подход суммирования всех затрат и компенсаций на социальные и экологические последствия был заложен в модернизированные методики определения эффективности (второго поколения).

Попытки выразить различные виды экономической, социальной и экологической эффективности в универсальных единицах измерения (в данном случае в стоимостных) обусловили бесперспективность такого подхода. Это связано с игнорированием качественной противоречивости и неравнозначной приоритетности рассматриваемых сторон эффективности.

При определении эффективности системного исследования управления следует учитывать в первую очередь общечеловеческие требования, направленные на обеспечение необходимой безопасности каждого потребителя, всего общества, их экологического благополучия, а также научно-технического развития человечества. Данные стороны результатов системного управления должны стать приоритетными по сравнению с экономической эффективностью. Вместе с тем в условиях рыночных отношений, при невозможности обеспечит преимущества перед конкурентами в части экономического эффекта (при бесспорном выполнении требований по безопасности, экологичности, социальной и научно-технической направленности), следует принимать более рациональные решения по управлению.

Определение эффективности исследований системного управления должно основывается на принципах и подходах, учитывающих приоритетные общечеловеческие ценности и адаптированных к условиям рыночных отношений.

Обеспечение высокой эффективности исследований СУ может быть достигнуто только при соблюдении основных принципов проведения исследовательских работ. При этом непосредственно определение эффективности необходимо проводить также по соответствующим правилам. Среди основных принципов определения эффективности исследования СУ необходимо отметить следующие.

Принцип приоритетности социальных и экологических эффектов означает, что при оценке эффективности исследований СУ необходимо учитывать в первую очередь социальные и экологические эффекты с одновременной их проверкой по критериям безопасности и экологичности.

Принцип комплексного подхода отражает необходимость учета при определении экономической эффективности всех затрат, осуществляемых при исследовании, создании и функционировании СУ, а так же возникающих экономических результатов (последствий) создания и использования продукции и предоставляемых услуг (результатов деятельности организации) на всех стадиях жизненного цикла и уровнях управления. Следует учитывать все эффекты, получаемые не только на внутреннем, но и на внешнем рынке. Таким образом, расчет экономического эффекта в результате реализации исследований системного управления необходимо проводить относительно всей хозяйственной системы организации.

При этом надо иметь в виду, что в конкретной подсистеме, как правило, выполняется определенная технологическая операция, составляющая только часть общей работы по удовлетворению определенной потребности.

Эта потребность полностью удовлетворяется лишь в результате совместного действия ряда подсистем, т.е. в рамках всей системы. Кроме того, следует учитывать экономические эффекты, получаемые за счет решений по управлению во всех элементах, а также в других взаимосвязанных с ними системах (например, выполнения плана поставок, охраны окружающей среды и др.). Реализация принципа комплексного подхода при определении экономического эффекта системного управления и научно обоснованных направлений улучшения деятельности требует рассмотрения всего состава подсистем СУ организации в целом.

Принцип обеспечения минимального воздействия неполноты и недостоверности имеющейся информации означает снижение до возможного минимума отрицательного влияния на принимаемые решения и результаты деятельности хозяйственной системы.

Принцип сопоставимости результатов означает необходимость обеспечения сравнимости достигаемых социальных, экологических, научно-технических и экономических эффектов за счет функционирования СУ по следующим признакам:

· объем удовлетворения потребностей разработчиков и изготовителей (продавцов) продукции;

· объем и диапазон (взаимозаменяемости) удовлетворения потребностей потребителей продукции;

· признаваемость и авторитетность сертификатов на СУ и её подсистемы (в частности на систему УК) и продукцию;

· временной фактор, приводя разновременные эффекты к условиям их соизмеримости и ценности к определенному времени (с учетом инфляции и т.п.);

· неопределенность и риски, связанные с достижением эффектов.

При этом оценка эффективности исследования СУ должна производиться сопоставлением данных с учетом принимаемых и реализованных мер и без них.

Принцип обязательного учета и анализа затрат на проведение и реализацию результатов исследования очень важен, без его реализации практически невозможно определить эффективность исследования. Основные положения проведения учета и анализа затрат на качество целесообразно регламентировать, например, в методической инструкции.

Помимо перечисленных, следует учитывать ряд других принципов определения эффективности:

· принцип учета фактора времени, который обусловливает обязательность учета изменения эффектов с течением времени, стоимости разновременных результатов и затрат с предпочтением получения более быстрых результатов и поздних затрат, влияния на них инфляции и возможности использования в расчетах нескольких валют;

· принцип учета эффектов, поучаемых только от проведенных исследований, т.е. прошлых или настоящих, а не связанные с ними результаты и затраты не должны учитываться;

· принцип многоэтапности определения эффективности исследования, означающий необходимость расчета с различной глубиной) на каждой стадии разработки, внедрения и реализации мер по УК;

· принцип количественный учет влияния неопределенностей и рисков при проведении исследования.

Каждый из эффектов может носить реальный или потенциальный характер. Реальными, как правило, являются чисто экономические виды эффектов. Остальные виды эффектов несут в себе в основном только потенциальный экономический эффект. Например, разработанное изобретение как новшество высшего уровня может дать экономический эффект либо после его продажи или предоставления лицензии на изготовление, либо после его производства и соответствующей реализации. Или, например, (повышение степени удовлетворения физиологических потребностей управленческих работников в части питания, комфортности рабочего места и т.п.) может сократить потери рабочего времени по болезням, повысит производительность труда, качество воспроизводства трудовых ресурсов и т.д., что нельзя сразу рассчитать в форме экономического эффекта. Снижение выбросов вредных компонентов в атмосферу, почву, воду сохраняет экосистему, увеличивает продолжительность жизни человека и т.д. Этот эффект также невозможно сразу перевести в прибыль.

Приведенные примеры позволяют сделать следующий вывод: экономический эффект разработки, внедрения у себя (преобразования новации или новшества в инновацию) или продажи новшеств может быт потенциальным Ии фактическим (реальным, коммерческим), а научно-технический, социальный и экологический эффекты могут иметь форму только потенциального экономического эффекта.

Вместе с тем, если принимать в расчет только конечные результаты внедрения или продажи новшеств, то любой результат исследования можно оценить в стоимостном выражении. Критериями конечной оценки здесь служат: время получения фактического экономического эффекта и степень неопределенности его получения (или уровень риска вложения инвестиций в новшества и новации).

Виды и источники эффектов применительно, например, к прикладным исследования СУ могут быть исключительно разнообразными, в частности, среди них можно выделить: социальные, экологические, научно-технические и экономические.

Источниками социальных эффектов по результатам прикладного исследования могут быть:

· повышение качества принятия управленческих решений и их реализации;

· повышение оперативности управленческого аппарата;

· повышение квалификации управленческого и производственного персонала;

· повышение безопасности продукции и услуг;

· улучшение условий и организации труда (влияния на изменение условий труда работников может быт оценено отдельными санитарно-гигиеническим и психофизиологическим показателями);

· повышение степени безопасности работников;

· повышение степени удовлетворения физиологических потребностей работников (например, повышения надежности обеспечения теплом, электроэнергией, продуктами питания и т.п.;

· повышение степени удовлетворения социальных и духовных потребностей;

· увеличение продолжительности жизни работников и членов их семей;

· улучшение жилищных и культурно-бытовых условий работников, включая улучшение условий и возможностей отдыха;

· улучшение структуры управленческого и производственного персонала может оцениваться показателями изменения численности работников, занятых тяжелым физическим и вредным для здоровья трудом, с высшим или средним специальным образованием, подлежащих обучению, переподготовки, повышению квалификации);

· экономия свободного времени работников вне предприятия и потребителей.

В экономической оценке социальных результатов учитывается только их самостоятельная значимость. Затраты, необходимые для достижения социальных эффектов или обусловленные социальными последствиями реализации результатов исследования (затраты на предоставление бесплатного или льготного жилья, повышение затрат на выплату пособий по временной нетрудоспособности или по безработице), учитываются в расчетах эффективности в объем порядке. Возможные доходы от реализации этих мер учитываются в расчетах экономических эффектов.

Источниками экологических эффектов за счет улучшения функционирования СУ могут быть:

· уменьшение загрязнения окружающей среды снижение выбросов в атмосферу, почву, воду вредных компонентов);

· повышение экологического уровня выпускаемой продукции и оказываемых услуг;

· уменьшение штрафов за нарушение экологических требований;

· улучшение эргономичности (уровень шума, вибрации и т.п.) выпускаемых товаров.

К научно-техническим эффектам по результатам исследования СУ относятся:

· количество зарегистрированных авторских свидетельств;

· увеличение удельного веса новых информационных технологий;

· увеличение удельного веса новых прогрессивных технологических процессов;

· повышение коэффициента автоматизации производства;

· повышение организационного уровня производства и труда;

· рост количества публикаций (индекса цитирования);

· повышение конкурентоспособности организации и её товаров на рынках промышленно развитых стран.

· прибыль от внедрения изобретений, патентов, ноу-хау;

· сокращение сроков капитального строительства;

· улучшение использования ресурсов, рост производительности труда;

· ускорение оборачиваемости оборотных средств;

· снижение производственных затрат на исправление дефектов изготавливаемой продукции (то же в сфере разработки и проектирования);

· уменьшение потер от окончательного брака готовой продукции;

· снижение трудоемкости производственных процессов;

· предотвращение поступления в производственный процесс недоброкачественного сырья и материалов;

· уменьшение затрат на устранение дефектов по рекламациям (претензиям) потребителей;

· уменьшение суммы штрафов за поставку недоброкачественной продукции и выплат по рекламациям;

· уменьшение расходов на гарантийное обслуживание и ремонт;

· уменьшение ущерба за нарушение контрактов;

· повышение прибыли за счет улучшения ассортимента изготовленной продукции;

· повышение прибыли за счет продажи потребителям продукции повышенного качества (при неизменности себестоимости).

Кроме этого, а счет мероприятий по улучшению системного управления могут быт получены другие положительные результаты: увеличение объемов продаж, более полно соответствующих требованиям потребителей изготовленной продукции и предоставляемых услуг; снижение себестоимости продукции и услуг; более точное выполнение поставок продукции в срок; сокращение сроков разработки и постановки новой продукции в срок; сокращение сроков разработки и постановки новой продукции на производство; увеличение объемов производства продукции и услуг, соответствующих требованиям потребителей.

Одним и экономических источников по результатам исследования СУ, как уже указывалось, может стать снижение затрат на управление, определяемое следующим образом:

Где З₁_y, З₂_y – затраты на управление соответственно до проведения работ по совершенствованию УК и после.

К основным источникам получения позитивных результатов за счет более совершенного управления в сфере производства относятся:

1) снижение производственных затрат на исправление дефектов изготавливаемой продукции аналогично и в сфере разработки и проектирования):

Где З₁, З₂ – затраты на устранение дефектов соответственно до внедрения системы и после;

2) уменьшение потерь от окончательного брака готовой продукции:

Где А – объем продукции в натуральных единицах измерения;

У – стоимость единицы продукции по цене утилизации, руб.;

4) снижение трудоемкости производственных процессов:

Где Т – норма времени на единицу производства продукции, час;

5) предотвращение поступления в производственный процесс недоброкачественного сырья и материалов:

Где А_бр – объем забракованного сырья и материалов за расчетный период, руб.;

А_пост – поступивший объем сырья и материалов за расчетный период, руб.;

К – коэффициент, учитывающий потери на одно изделие при поступлении недоброкачественного сырья и материалов;

6) уменьшение затрат на устранение дефектов по рекламациям (претензиям) потребителей:

7) уменьшение суммы штрафов за поставку недоброкачественной продукции и выплат по рекламациям:

8) уменьшение расходов на гарантийное обслуживание и ремонт:

9) уменьшение ущерба за нарушение контрактов:

10) повышение прибыли за счет улучшения ассортимента изготовленной продукции:

Где П – прибыли, получаемая за счет ассортимента.

11) повышение прибыли за счет продажи потребителям продукции повышенного качества при неизменности себестоимости):

По оценкам западных экспертов, все средства, направленные на улучшение функционирования СУ, в том числе целевых УК, позволяют получить эффект в соотношении 1:3,5-20,0 (по разным оценкам). В связи с этим и с учетом вышеизложенных принципов затраты на обеспечение прикладных исследований системного управления следует рассматривать как инвестиции, что во многом позволяет те же показатели для расчета, что и при оценке эффективности инвестиционных проектов.

Исходя из этого сущность, содержание и порядок работ по оценке эффективности исследований СУ могут быть аналогичными, например, основным положением "Методических рекомендаций по оценке эффективности инвестиционных проектов и их отбору для финансирования". Согласно этим рекомендациям эффективность исследования СУ может оцениваться на основе общественной эффективности и коммерческой активности.

Основные показатели общественной эффективности должны характеризовать социальные, экологические, экономические, научно-технические и иные последствия проведения исследований СУ для общества в целом, в том числе как непосредственные результаты и затраты на исследовательские работы в рамках предприятия, так и "внешние": затраты и результаты в объединениях предприятий, холдингах, отраслях, финансово-промышленных группах, смежных секторах экономики, регионах, национальном хозяйстве страны и мирового сообщества в целом.

Показатели коммерческой эффективности учитывают финансовые последствия исследований применительно:

· структурам более высокого уровня по отношению к предприятию - городу, району, региону и национальному хозяйству, финансово-промышленных групп, объединений предприятий и холдинговых структур;

· в бюджету (государства и других бюджетов всех уровней).

В качестве основных показателей, используемых для расчетов эффективности прикладных исследований СУ, можно использовать, например:

· потребность в дополнительном финансировании (другие название -ПФ, стоимость проекта, капитал риска);

· группа показателей, характеризующих финансовое состояние предприятия.

Дополнительно можно рассчитывать и другие показатели, например точку безубыточности.

Обязательно следует оценивать общественную и коммерческую эффективность для крупномасштабных ИСУ (существенно затрагивающие интересы города, региона или всей России). Такую оценку можно проводить в соответствии с существующим рекомендациями и инструкциями.

В литературе встречаются и другие методы расчета эффективности:

· чистого дисконтированного дохода - интегральный эффект, чистая приведенная стоимость, Net Present Value (NPV);

· индекса доходности - индекс прибыльности, Profitability Insex (Pi);

· внутренней нормы доходности - внутренняя норма прибыли, рентабельности, возврата инвестиций, Internal Rate of Return (IRR).