Система критериев для оценки качества экспертного решения

Название	Методика расчета	Диапазон критериальных значений	Экономический смысл
1. Коэффициент согласованности Кендалла (W)	, где S – сумма квадратов откло-нений всех экспертных оценок по каждому показателю от среднего арифметического значения рангов; n – число экспертов; m – число оцениваемых показателей (т. е. объектов экспертизы)	W = 0 – указывает на факт несогласованности мнения экспертов, а также на неадекватность; W = 1 – соответствует полной согласо-ванности; 0,4≥ W ≤0,6 – качество экспертного решения считается удовлетворительным; 0,7≥ W ≤0,9 – высоким	Оценивает согласованность экспертных мнений
2. Коэффициент конкордации (Кк)	Кк i = 1 - КОi; КО i =;, где КО i – коэффициент разброса мнений; – среднеквадратическое откло-нение от коэффициента значи-мости i -го показателя после группповой оценки; –индии-видуальная экспертная оценка значимости i -го показателя; - значимость i- го показателя после групповой оценки по формуле средней арифметической; m – число экспертов	Кк = 0 – указывает на факт несогласованности мнения экс-пертов, а также на неадекватность; Кк = 1 – соответствует полной согласованности; 0,7≥Кк ≤0,9 – качество экспертного решения считается удовлетворительным; Кк≥ 0,95– высоким

Окончание табл. 6.7

Название	Методика расчета	Диапазон критериальных значений	Экономический смысл
3. Коэффициент чувствительности (Кчув)	Кчув =; =;, где – среднеквадратическое отклонение чувствительности метода; – удельный вес значимости i -го показателя в системе; – средний удельный вес значимости одного показателя в системе; n – число показателей в системе	Кчув = 0 – означает отсутствие чувствительности метода; Кчув = 1 – соответствует абсолютной чувствительности метода; 0,7≥ Кчув ≤0,9 – означает удовлетворительную чувствительность метода; Кчув ≥ 0,95– соответствует высокой чувствительности метода	В обобщенном виде показывает диапазон отклонений, полученных оценок значимости в ту или другую сторону от базисного (среднего) уровня значимости объектов
4. Коэффициент точности (Кточ)	Кточ =;, где – среднеквадратическое отклонение точности метода; – удельный вес значимости i- го показателя, определенный методом, который условно принят за эталонный	Кточ = 0 – означает отсутствие точности метода; Кточ = 1 – соответствует абсолютной точности метода; 0,7≥ Кточ ≤0,9 – означает удовлетворительную точность метода; Кточ ≥ 0,95– соответствует высокой точности метода	Характеризуется степенью достоверности процедуры, с которой метод позволяет не только выявить приоритетные отношения объектов, но и соизмерить интервалы различий между ними

I. Процедура высказывания суждений

II. Перевод качественных символических оценок в числовые значения (а_ij)

III. Расчет значений приоритетов итеративным методом (l _i^t)

Расстанов-ка сим-волов предпочте-ния (>, ³, £, <, =)

Задание пределов значимости объектов в системе , k – номер эксперта

Среднее соотношение между объектами с максимальной значимостью к объекту с минимальной значимостью   Величина, характеризующая диапазон изменения влияния оценочных объектов , m – количество экспертов; n – количество объектов

Матрица количественных значений

аij =

1+ y, если xi>xj 1+0,5 y, если xi³xj 1, если xi=xj 1- y, если xi<xj 1-0,5 y, если xi£xj

, где, t – номер итерации

Этапы, реализуемые аналитиком

Этапы, реализуемые экспертами

Рис. 6.2 Схема методики определения коэффициентов значимости объектов в системе методом расстановки парных приоритетов

– путем определения коэффициентов приоритетов и итеративных вычислений при обработке результатов достигается приближение субъективных индивидуальных оценок к объективному значению групповой экспертной оценки, отражающей предельно «истинную» значимость объекта в системе;

– достаточно высокая степень чувствительности процедуры метода к варьированию влияния частных показателей на комплексный позволяет не только выявить приоритетные отношения объектов, но и соизмерить интервалы различий между ними;

– высокая согласованность экспертов при высказывании суждений.

К индивидуальным методам экспертных оценок, помимо вышеперечисленных также относят следующие психологические (творческие) методы.

Прием аналогии (или метод ассоциации идей и аналогий) представляет собой использование подобного ранее известного решения (т. е. перенос опыта) для ответа на конкретный аналитический вопрос.

Прием инверсии – это применение системы решения «наоборот», т. е. использование метода от противоположного, что дает возможность отказаться от традиционных решений.

Прием контрольных вопросов имеет целью с помощью наводящих вопросов подвести к решению поставленной задачи. В зарубежной практике нашел широкое распространение вопросник А. Осборна, включающий девять групп вопросов (например, что можно в объекте преобразовать, что надо сделать наоборот, на какой объект похож данный объект, что можно скопировать и др.).

Обобщая вышеизложенное, следует отметить, что основная проблема применения экспертного оценивания – это снижение риска субъективности суждений экспертов. Для обеспечения объективности конечного результата возможно использование групповой экспертной оценки, которая позволяют повысить уровень объективности оценок благодаря использованию суждений некоторого числа специалистов с применением при этом определенных процедур приведения индивидуальных мнений к единому.

Наиболее распространенными в практике методами являются: метод среднеарифметической или средневзвешенной величины, метод медианы, правило большинства, сравнительные суждения, последовательные интервалы и т. д. (см. рис. 6.1), а также метод, разработанный американской корпорацией РЭНД и получивший свое название от г. Дельфы, который был известен в Древней Греции своими прорицателями-оракулами – метод Дельфи (или метод мозгового штурма).

Сущность последнего заключается в проведении опроса экспертов в несколько туров. При этом в первом туре эксперты не афишируют свои ответы, а во втором и последующих турах объясняют, почему они изменили или не изменили свое мнение. Между очередными опросами экспертов информируют о результатах предыдущих этапов опроса, сообщая им средние и крайние мнения. В результате этого, а также взаимного обмена информацией, эксперты пересматривают свое мнение, и их ответы носят все более устойчивый характер, что и служит для основания прекращения опроса.При этом при использовании метода Дельфи следует соблюдать несколько следующих правил:

– эксперты должны быть из разных областей знаний,

– между экспертами допускается любая форма должностного подчинения,

– устанавливается регламент на время и количество высказываний,

– обязательное подведение итогов в конце совещания его председателем,

– перерыв между первым и вторым этапом двойной мозговой атаки должен продолжаться не болееодного дня.

Морфологический анализ использует структурные, т. е. морфологические взаимосвязи экономических явлений и процессов. Он основан на систематическом исследовании всех теоретически возможных вариантов, вытекающих из закономерностей строения объекта, его строгих и полных классификаций (примером морфологического анализа может служить таблица химических элементов Д. И. Менделеева). Данный прием предполагает создание дерева целей (матрицы), где будут отражены все показатели, характеризующие объект анализа и причины возможных их изменений. В результате такого исследования разными группами экспертов получают несколько сценариев развития объекта, сравнивая которые, можно получить объективную оценку.

В ходе групповой экспертной оценки необходимо осуществить оценку качества экспертных решений, что осуществляется с помощью ряда критериев, методика расчета которых систематизирована в табл. 6.7.

Пример 6.2 Определить степень согласованности мнения экспертов, используя нижеприведенные результаты их оценок.

Таблица А – Оценка согласованности мнения экспертов

№ объекта экспер-тизы	Оценки в разрезе экспертов	Сумма рангов (оценок)	Отклонение от среднего значения экспертной оценки	Квадрат отклонения
А						6 (1+2+3+4+5)	(20-гр.6)	8 (гр.7^2)
№ 1
№ 2							-5
№ 3
№ 4

Окончание таблицы А

№ объекта экспер-тизы	Оценки в разрезе экспертов	Сумма рангов (оценок)	Отклоне-ние от среднего значения экспертной оценки	Квад-рат откло-нения
№ 5							-13
№ 6
№ 7
Итого	х	х	х	х	х	х	х

Среднеарифметическое число рангов (оценок экспертов) равно 20: ((21+15+9+28+7+25+35)/7); S = 630. Тогда W = 12·630/(25·(343-7)) = 0,9

Следовательно, полученный результат свидетельствует о том, что мнения экспертов согласованы, а в связи с этим качество экспертных оценок является высоким, что дает основание использовать полученные результаты для решения поставленной аналитической задачи.

Тесты для самоконтроля знаний по теме 6

1. Качество экспертного решения считается высоким, если значение коэффициента согласованности Кенделя:

а) равно 0; б) равно 1;

в) >0,4-0,5; г) ≥0,7-0,8.

2.Принцип, соблюдаемый при расчете комплексного показателя оценки деятельности организации:

а) однотипность показателей;

б) однокритериальность показателей;

в) однонаправленность показателей;

г) сопоставимость единиц измерения;

д) сопоставимость периодов.

3. Долевое участие интенсивных факторов в приросте товарооборота (темпы роста: товарооборота – 180 %, скорости обращения товаров – 120 %, фондоотдачи – 110 %, производительности труда – 140 %) составляет:

а) 29 %; б) 68 %; в) 50 %; г) 22 %.

4.Формула для расчета значения коэффициента согласованности Кенделя:

а); б);

в).

5.Методы индивидуальной экспертной оценки:

а) ранговая корреляция; б) метод Дельфи;

в) метод парных приоритетов; г) метод средней арифметической;

д) метод медианы.

6. Показатели, которые не используются при расчете комплексного показателя эффективности хозяйствования торговой организации:

а) скорость обращения товаров;

б) производительность труда;

в) время обращения товаров;

г) фондоемкость;

д) фондоотдача.

7.Установите соответствие между типом экономического развития и его характеристикой:

а) экстенсивный тип развития;

б) интенсивный тип развития;

в) рост за счет более эффективного использования ресурсов;

г) рост за счет привлечения дополнительных ресурсов;

д) рост за счет качественных и количественных показателей.

8.Тип развития деятельности организации, обусловленный только привлечением дополнительных ресурсов называется …

9.Тип развития деятельности организации, обусловленный только ростом эффективности использования имеющихся ресурсов, называется …

10. Укажите показатели, формирующие модель соотношения темпов роста для достижения повышения эффективности использования товарных запасов:

а) поступление товаров;

б) среднегодовая стоимость товарных запасов;

в) чистая прибыль;

г) выручка от продажи товаров;

д) скорость обращения товаров.

11. Укажите показатели, формирующие модель соотношения темпов роста для достижения повышения финансовой отдачи результатов хозяйственной деятельности организации:

а) поступление товаров;

б) среднегодовая стоимость товарных запасов;

в) чистая прибыль;

г) выручка от продажи товаров;

д) скорость обращения товаров.

12.Модель соотношения темпов роста экономических показателей в соответствии с требованиями интенсивного развития:

а) выручка от продажи > прибыль > материальные и трудовые ресурсы;

б) материальные и трудовые ресурсы > прибыль > выручка от продажи;

в) прибыль > выручка от продажи > материальные и трудовые ресурсы.

13.Установите соответствие пропорций темпов роста экономических показателей характеру развития хозяйственной деятельности организации:

а) экстенсивный тип развития;

б) интенсивный тип развития;

в) темп роста выручки от продажи > темп роста ресурсов;

г) темп роста ресурсов > темп роста выручки от продажи;

д) темп роста прибыли > темп роста выручки от продажи.

14. Перерыв между первым и вторым этапом двойной мозговой атаки должен продолжаться не более:

а) одного дня; б) одного часа; в) одной недели; г) двух часов.

15. Методы оценки, основанные на усреднении сведений, полученных путем опроса специалистов, называются:

а) методами факторного анализа;

б) эвристическими методами;

в) трендового анализа.

16. К психологическим методам не относится:

а) Дельфи;

б) морфологический;

в) контрольных вопросов;

г) коллективного блокнота.

17. Метод контрольных вопросов относится к группе:

а) экспертных – индивидуальных методов;

б) морфологических методов;

в) экспертных – коллективных методов.

18. Содержание морфологического подхода к изучению деятельности объекта исследования:

а) поиск сходных свойств или характеристик у нетождественных явлений (процессов);

б) изучение внутренней структуры явлений (процессов, предметов);

в) совместное применение логических и интуитивных подходов.

19. Метод сумм основан на применении процедуры … темпов роста частных показателей эффективности.

20.Применение метода суммы мест возможно для комплексной оценки деятельности:

а) одного предприятия;

б) нескольких предприятий;

в) в любом случае.

21.Метод комплексной оценки, в основу которого положена процедура формирования ряда частных показателей эффективности деятельности условно-эталонного предприятия:

а) суммы мест; б) сумм; в) среднеарифметической;

г) произведений; д) расстояний.

Дата добавления: 2014-01-07