Объявление о контрольной работе по теме «Методы ИСУ»

В тех вопросах, где требуется назвать достоинство и недостаток некоторого метода, достаточно назвать хотя бы одно достоинство и хотя бы один недостаток.

Сокращения:

ИСУ – исследование систем управления;

МАИС – методы активизации интуиции и опыта специалистов;

РГ – рабочая группа (в организации экспертизы);

МФПС – методы формального представления систем.

Вопросы к контрольной работе:

А) Подробные:

1. Подробно расскажите о свойствах, которыми должен обладать специалист при использовании МАИС (компетентность, ассоциативность и конструктивность мышления, самокритичность и др.)

2. Расскажите о методе мозговой атаки (основная идея, рекомендации, достоинства и недостатки, модификации метода мозговой атаки).

3. Расскажите о методе синектики (основная идея, отбор синекторов, проведение исследования, различные виды аналогий с примерами).

4. Расскажите о методе «Дельфы» (сущность метода, контур обратной связи, расчетный пример).

5. Подробно расскажите о факторах, влияющих на количественный и качественный состав группы экспертов (привести примеры и графически проиллюстрировать зависимость средней ошибки от количества экспертов).

6. Подробно расскажите о методах оценки качества эксперта (основные подходы и методы, их достоинства и недостатки, приводить расчетные примеры не обязательно).

7. Расскажите о методе анкетирования (сущность, виды вопросов с примерами, их достоинства и недостатки, общие требования).

8. Расскажите об общих принципах получения экспертной оценки (сущность, понятия эксперта, экспертизы, экспертной и рабочей групп, основные этапы с краткой характеристикой).

9. Расскажите о различных методах получения суждения от эксперта(оценки в различных шкалах различными методами, связанные с этими методами понятия, примеры ранжирования (достаточно трех объектов), примеры балльных шкал.

10. Расскажите о видах балльных шкал и принципах их построения, приведите примеры. Нормирование балльных оценок и перевод их в процентные.

11. Подробно охарактеризуйте методы анкетирования, интервьюирования, дискуссии, мозговой атаки и метод «Дельфы».

12. Расскажите о методах формирования групповой оценки в различных шкалах.

13. Теорема Эрроу. Парадокс Кондорсе. Пример зависимости от внешней альтернативы.

14. Расскажите об измерении согласованности оценок, полученных в различных шкалах (об использовании критерия «хи-квадрат» можно рассказать поверхностно, без формул, формулы для коэффициентов конкордации также можно не приводить, но изложить их идею необходимо).

15. Согласованность оценок (необходимость ее измерения (обосновать примером), возможные выводы, перечисление методов измерения без их подробного изложения).

16. Сценарный подход (сущность, связанные с ним понятия, достоинства и недостатки, иллюстративный пример).

17. Морфологический подход (сущность, этапы, достоинства и недостатки, иллюстративный пример).

18. Аналитические МФПС (подробная классификация, определения соответствующих понятий).

19. Подробно расскажите о методах принятия решений в условиях риска, приведите примеры.

20. Подробно расскажите о методах принятия решений в условиях «дурной» неопределенности» путем сведения их к условиям риска, приведите примеры.

21. Подробно расскажите о методах принятия решений в условиях «дурной» неопределенности, не сводя их к условиям риска, приведите примеры.

22. Охарактеризуйте статистические, теоретико-множественные и прочие известные Вам МФПС (кроме аналитических). Приведите примеры их использования.

Б) Краткие:

1. Перечислите основные группы методов ИСУ с указанием области применения.

2. Область применения МАИС. Перечислите известные Вам МАИС.

3. Что такое интуиция?

4. Что такое компетентность?

5. Перечислите свойства, которыми должно обладать мышление опытного специалиста при использовании МАИС (не менее 5).

6. Что такое ассоциативность мышления?

7. Что такое конструктивность мышления?

8. Что такое самокритичность?

9. Что такое коммуникабельность?

10. Что такое экспертная оценка?

11. Что такое мозговая атака?

12. Преимущество и недостаток метода мозговой атаки.

13. Что такое метод синектики?

14. Что такое метод «Дельфы»?

15. Что такое сценарий (в МАИС)?

16. Преимущество и недостаток сценарного метода.

17. Что такое морфологический анализ?

18. Преимущество и недостаток морфологического подхода.

19. Что такое деловая игра?

20. Что такое личная аналогия?

21. Что такое прямая аналогия?

22. Что такое символическая аналогия?

23. Что такое фантастическая аналогия?

24. Приведите пример личной аналогии.

25. Приведите пример прямой аналогии.

26. Приведите пример символической аналогии.

27. Приведите пример фантастической аналогии.

28. Назовите основные этапы получения любой экспертной оценки.

29. Перечислите факторы, влияющие на количественный и качественный состав группы экспертов.

30. Сущность метода "снежного кома" (отбор экспертов).

31. Перечислите основные подходы к оценке качества эксперта.

32. Перечислите не менее трех возможных источников аргументации экспертов.

33. Что такое априорная оценка качества эксперта?

34. Что такое апостериорная оценка качества эксперта?

35. Что такое тестовая оценка качества эксперта?

36. Что такое документационный метод оценки эксперта?

37. Преимущество и недостаток метода самооценки.

38. Преимущество и недостаток метода взаимной оценки.

39. Преимущество и недостаток метода тестовой оценки.

40. Преимущество и недостаток документационного метода оценки эксперта.

41. Перечислите известные Вам методы проведения опроса экспертов.

42. Классификация вопросов анкеты по содержанию.

43. Классификация вопросов анкеты по способу интерпретации.

44. Классификация вопросов анкеты по форме.

45. Приведите пример открытого по форме вопроса анкеты.

46. Приведите пример закрытого по форме вопроса анкеты.

47. Приведите пример вопроса анкеты со списком возможных ответов.

48. Преимущество и недостаток открытого по форме вопроса анкеты.

49. Преимущество и недостаток закрытого по форме вопроса анкеты.

50. Преимущество и недостаток вопроса анкеты со списком ответов.

51. Что такое анкетирование?

52. Что такое интервьюирование?

53. Что такое дискуссия?

54. Приведите пример оценки в номинальной шкале.

55. Проранжируйте любые три учебные дисциплины по уровню сложности для Вас вначале без использования стандартизированных рангов, а затем с использованием (можно брать другие дисциплины).

56. Перечислите известные Вам методы получения суждения от эксперта (классификация по типу шкал).

57. Перечислите известные Вам методы формирования групповой оценки в номинальной шкале.

58. Перечислите известные Вам методы формирования групповой оценки в случае полного ранжирования.

59. Перечислите известные Вам методы формирования групповой численной оценки.

60. Каким образом формируется групповая оценка в случае неполного ранжирования?

61. Кратко изложите суть теоремы Эрроу (без перечисления требований к правилу обобщения).

62. Перечислите не менее трех требований к правилу обобщения (теорема Эрроу).

63. Парадокс Кондорсе.

64. Пример зависимости от внешней альтернативы (нарушение требования теоремы Эрроу к правилу обобщения).

65. Как измеряют согласованность оценок в номинальной шкале?

66. Перечислите известные Вам методы измерения согласованности численных оценок по одному фактору.

67. Как измеряют согласованность численных оценок по нескольким факторам?

68. Коэффициент вариации оценок составил 0.3. Заданное пороговое значение составляет 0.25. Можно ли считать оценки согласованными и почему? А если коэффициент вариации оценок составил 0.2?

69. Как измеряют согласованность ранговых оценок?

70. Что можно сказать о согласованности мнений экспертов в случаях, когда коэффициенты конкордации равны 0, 1, 0.75, 0.45?

71. При каких значениях коэффициента конкордации мнения экспертов считают согласованными? Чему равен коэффициент конкордации при полной рассогласованности мнений экспертов? А при полной согласованности?

72. Действия РГ в случае полной рассогласованности мнений экспертов.

73. Возможные причины неудачи экспертизы (перечислите не менее трех).

74. Действия РГ в случае обособленности мнений экспертов в несколько групп.

75. Действия РГ в случае высокой согласованности мнений экспертов.

76. Область применения МФПС. Перечислите известные Вам группы МФПС (не менее трех).

77. Перечислите известные Вам аналитические модели и методы ИСУ (не менее трех).

78. Какой метод решения задач математического программирования применялся Вами на практических занятиях, для всех ли задач он применим (если нет, то для каких)?

79. Назовите известные Вам методы принятия решений в условиях риска.

80. Назовите известные Вам методы принятия решений в условиях «дурной» неопределенности.

81. Какие два основных подхода применяются при принятии решений в условиях «дурной» неопределенности?

82. Что такое ранжирование?

83. Какие методы построения индивидуального ранжирования Вы знаете?

84. Что такое равномерность балльной шкалы?

85. Что такое голосование простым либо усиленным большинством (вместо определения можно объяснить на примере)?

86. Что такое голосование квалифицированным большинством (вместо определения можно объяснить на примере)?

87. Что такое неполное ранжирование?

88. Что такое полнота (как требование теоремы Эрроу к правилу обобщения)?

89. Что такое непротиворечивость (как требование теоремы Эрроу к правилу обобщения)?

90. Что такое независимость от внешних альтернатив (как требование теоремы Эрроу к правилу обобщения)?

91. Что такое отсутствие диктата (как требование теоремы Эрроу к правилу обобщения)?

92. Что такое прогнозирование?

93. Что такое исследование операций и операция (с точки зрения исследования операций)?

94. Что такое задача математического программирования?

95. Чем отличаются задачи линейного и нелинейного программирования?

96. Что такое задача целочисленного программирования (полностью либо частично целочисленная задача)?

97. Что такое задача параметрического программирования?

98. Чем отличаются условия риска (как условия неопределенности) от условий «дурной неопределенности»?

99. Что такое риск (с точки зрения теории игр)?

10. Экспертные оценки. Мозговая атака. Анкета (продиктовать).

11. Экспертные оценки.

А) Анкетирование.

Обработка анкеты:

Б) Расчет тестовой оценки экспертов.

В) Расчет взаимной оценки экспертов.

Г) Формирование агрегированного показателя оценки компетентности эксперта на основе трех оценок, включая самооценку.

Д) Нормирование оценок компетентности экспертов по группам.

Е) Формирование групповой оценки в номинальной шкале.

12. Экспертные оценки. Построение балльных шкал и получение индивидуальных численных оценок.

13. Экспертные оценки.

А) Построение индивидуального ранжирования методом двоичного сравнения.

Б) Построение индивидуального ранжирования методом непосредственного упорядочения.

В) Корректировка индивидуального ранжирования.

Г) Формирование групповых численных оценок.

Д) Оценка их согласованности по отдельным факторам.

14. Экспертные оценки. Индивидуальное ранжирование, формирование групповых численных оценок и оценка их согласованности по отдельным факторам.

15. Экспертные оценки.

А). Оценка согласованности численных оценок (расчет расстояния).

Б) Формирование группового ранжирования по числу первых мест; по сумме рангов; по сумме рангов с уточнением по числу первых мест; по сумме квадратов рангов. Корректировка.

В) Оценка согласованности группового ранжирования (коэффициент конкордации, критерий Пирсона).

16.

Экспертные оценки

10. Экспертные оценки. Мозговая атака. Анкета (продиктовать)

Система управления – предприятие (организация) – столкнулась с ПС, которая заключается в следующем: спрос на продукцию (услуги) слишком мал для получения желаемой величины прибыли, необходимо увеличить прибыль за счет увеличения спроса, т.е. привлечения дополнительных покупателей продукции (услуг). Для выбора способов привлечения покупателей предлагается использовать групповую экспертную оценку.

Во-первых, необходимо определить все возможные способы привлечения покупателей. Это предполагается сделать методом мозговой атаки, цель которой - выявить как можно больше способов (вплоть до абсурдных). Это могут быть различные способы информационной рекламы, предложение дополнительных услуг, осуществление различных конкурсов и поощрений, реорганизация службы сбыта и других служб и т.п.

В силу того, что мозговая атака проводится в учебных целях, сделаем ряд оговорок.

Во-первых, определенные ограничения связаны с этапом отбора экспертов, так как все студенты должны принять участие в экспертизе. Студенты просто разбиваются на бригады по 6 (5-7) человек. В дальнейшем будет осуществлена оценка компетентности, которая будет учитываться при формировании групповой оценки.

Во-первых, на проведение «мозговой атаки» также накладывается ряд условий. Предлагается самостоятельно организовать фиксирование ее результатов. В итоге должен быть получен список способов (как можно более длинный). При составлении списка необходимо соблюдать следующие

Рекомендации

1) Способы должны быть описаны как можно более подробно (написать просто «реклама» или «реорганизация службы сбыта» недостаточно). Можно указать отдельно «реклама в печатных СМИ» и «реклама по TV». Можно указать отдельно «объявление в региональной информационной газете», «объявление в глянцевом журнале», «объявление в рекламной газете», «объявление в специальном издании», «объявление в 2-3 рекламных газетах», «объявление во всех региональных рекламных газетах», «разворот (отдельная страница) в специальном издании» (указать специализацию), «размещение статьи в региональной информационной газете» и т.д. Все эти способы рекламы будут оцениваться, как различные.

2) Указывать в виде различных способов «рекламу в газете «Экстра-Балт»» и «рекламу в газете «Привет, Петербург»» не следует, поскольку обе эти газеты представляют собой практически однотипные рекламные издания.

3) Также не следует приводить в виде различных способов размещение рекламного объявления в одной газете, в двух газетах, в трех и т.д. Количественные градации должны быть построены разумно, например, 1-3 газеты, 4-10 газет, более 10 (или по-другому, в зависимости от того, о каком типе изданий идет речь). Предлагается для каждого типа СМИ использовать не более 3 количественных градаций.

4) Не следует фиксировать в списке абсурдные и невозможные идеи (хотя высказывать их можно и даже полезно). Строго говоря, желательно отличать абсурдные идеи от невозможных. А именно, идея дарить каждому покупателю цветочного горшка по кусту рододендронов является абсурдной (противоречащей логике), но она физически осуществима. Кроме того, она может привести к идее рекламной акции – в придачу к алмазному цветочному горшку покупатель получает необыкновенно редкий сорт цветов. Разместить рекламу теннисного клуба более чем в 1000 региональных специализированных на теннисе изданий невозможно, потому что стольких изданий не существует (если Вы собираетесь издавать их сами, надо уточнить это в формулировке способа).

5) Не следует фиксировать противозаконные методы привлечения покупателей.

6) Для облегчения проверки и последующей обработки список должен быть нумерованным.

Оценка «разумности» формулировки способов оставляется на усмотрение преподавателя. Кроме того, преподаватель вправе начислить группе дополнительные баллы за понятную (логичную и подробную) формулировку нового оригинального способа и не начислять с баллы за некорректные формулировки. За явное грубое нарушение приведенных выше рекомендаций баллы могут даже сниматься.

Список рекомендаций будет находиться на столе преподавателя, и в случае возникновения сомнений можно подойти и ознакомиться с ним. Ключевые моменты в списке подчеркнуты.

Виды предприятий (организаций):

1. Супермаркет.

2. Коммерческий вуз.

3. Горнолыжная база (подъемник + прокат + соответствующая территория).

4. Кондитерская фабрика.

5. Ресторан.

Каждая бригада исследует одну систему управления. Можно предлагать свои варианты вместо предложенных пяти, но это надо сделать в течение 2-3 минут (согласовать с преподавателем).

Сформированные списки сдаются преподавателю для проверки.

На втором этапе предложенные методы необходимо подвергнуть дальнейшей экспертизе. Осуществим ее методом анкетирования. Всем экспертам (каждому студенту) предлагается заполнить следующую анкету (в процессе заполнения студенты не должны общаться друг с другом, высказывать скептические замечания по поводу вариантов ответов):

1. Фамилия И.О.

2. Имеете ли Вы опыт работы в сфере рекламы и сбыта?

- не имею

- имею, на предприятии другого профиля

- имею, на предприятии данного профиля

3. С деятельностью скольких предприятий данного профиля Вы знакомы (перечислите их, пожалуйста)?

4. Каков тираж рекламной газеты «Метро»?

- менее 100 тыс. экз.

- от 100 до 500 тыс. экз.

- от 500 до 1 000 тыс. экз.

- более 1 млн. экз.

5. Сколько стоит в месяц размещение рекламного баннера крупного формата (100х100 пикселей) в верхней части главной страницы сайта «Торговая сеть Петербурга»?

- до 500 руб.

- от 500 до 2000 руб.

- от 2000 до 5000 руб.

- дороже 5000 руб.

6. Оцените собственную компетентность и компетентность других пяти специалистов по 3-балльной шкале (1 – низкий уровень компетентности, 2 – средний, 3 – высокий).

7. Отнесите каждый из методов привлечения клиентов к одному из трех множеств: «методы, которые не следует использовать», «традиционные методы, конкретизацию которых в рамках выделенного бюджета можно оставить на усмотрение исполнителей – менеджеров по сбыту и рекламе», «оригинальные методы, подлежащие дальнейшей экспертизе» (составьте, пожалуйста, три списка).

11. Экспертные оценки. Анкетирование и обработка анкеты.

Результаты анкетирования необходимо обработать (это делает рабочая группа, в качестве которой теперь выступают студенты). Участвующие в экспертизе специалисты различаются по своей компетентности. На третьем этапе проведем оценку компетентности. Осуществим ее путем комбинирования методов самооценки, взаимной и тестовой оценки.

Для получения тестовой оценки используются вопросы №№ 2-5 (при этом вопрос № 2 несет в себе элементы метода объективных оценок).

За ответ на вопрос № 2 эксперт получает 1, 2 или 3 балла в соответствии с номером ответа.

Чтобы оценить ответ на вопрос № 3, необходимо сравнить его с ответами других экспертов. Самое большое число названных предприятий делится на 3, и если эксперт смог назвать меньше этого количества предприятий, он получает 1 балл, если больше, но меньше чем вдвое больше, то 2 балла, и если более чем вдвое больше, то 3 балла. Например, если максимально было названо 7 предприятий (7/3 = 2 1/3), то назвавшие 0-2 предприятия получают 1 балл, 3-4 – 2 балла, 5-7 – 3 балла. Если максимальное число кратно трем, прибавим к нему 1.

Правильный ответ на вопрос № 4 - 400 000 экз., а на вопрос № 5 - 3000 руб. или 99 USD. Если эксперт ответил на оба вопроса правильно, он получает 3 балла, если на один – 2 балла, если ни на один – 1 балл.

Полученные три оценки усредняются для получения результативной тестовой оценки.

Взаимные оценки всех экспертов - 6 студентов - (вопрос № 6) сводятся в таблицу 6х6, и подсчитываются коэффициенты компетентности с точностью до сотых долей до тех пор, пока процесс не сойдется с точностью до десятых долей (2-3 итерации, т.е. если коэффициент предыдущего порядка был равен 1.15, и стал равен 1.21, считаем их приближенно равными 1.2). С такой низкой точностью он, скорее всего, сойдется уже для коэффициентов 2-го порядка. Кроме того, будем уточнять коэффициенты таким образом, чтобы их сумма равнялась 1. При этом величины В ЧИСЛИТЕЛЕ каждой формулы будут представлять собой оценки экспертов по 3-балльной шкале.

Оценку компетентности эксперта подсчитаем как агрегированныйпоказатель, в котором вес взаимной оценки составит 0.3, тестовой - 0.5, а вес самооценки – 0.2 (хотя самооценка уже учитывалась при получении взаимной оценки, учтем ее еще раз).

Например, пусть путем взаимной оценки эксперт получил оценку 2.01, его самооценка равна 3, а при ответе на вопросы теста он получил (2+3+2)/3 = 2.33 балла. Тогда его агрегированная оценка составит 2.01*0.3 + 3*0.2 + 2.33*0.5 = 2.37.

После того, как получены оценки для всех экспертов, их НОРМИРУЮТ для расчета весовых коэффициентов (т.е. суммируют, и каждую из них делят на полученную сумму, с точностью до сотых). Сумма полученных коэффициентов должна равняться 1.

Расчет весовых коэффициентов осуществляется студентами самостоятельно (групповую оценку можно считать бригадами по 2 человека, - каждая из 6 бригад, в свою очередь, разделяется на три, результаты сверяются и предоставляются преподавателю для проверки). В процессе проверки каждый студент должен уметь объяснить, каким образом и почему именно так подсчитан каждый коэффициент.

На четвертом этапе определим групповую оценку предложенных способов методом разбиения на множества (вопрос № 7 в анкете; прежде чем на него отвечать, необходимо окончательно уточнить список способов, полученный в результате мозговой атаки).

Групповая оценка формируется методом голосования с учетом компетентности экспертов. Заполняется таблица, строки которой соответствуют рассматриваемым методам, а столбцы – множествам, на которые они разбиваются. Для каждой клетки таблицы необходимо решить вопрос – сколько экспертов отнесло данный метод к данному множеству? Если решение является единогласным, то оно совпадает с групповой оценкой, и другие клетки таблицы в этой строке рассматривать не нужно. Например, если на вопрос: «Отнесли ли Вы метод № 1 к традиционным?» все эксперты ответили «да», нет необходимости спрашивать, отнес ли его кто-нибудь к не используемым или к оригинальным. Соответственно, метод № 1 относят к множеству традиционных в групповой оценке. Если решение не единогласное, суммируется компетентность экспертов, отнесших данный метод к данному множеству. Например, если 3 эксперта с коэффициентами компетентности 0.1, 0.1 и 0.2 отнесли метод № 2 к традиционным, а 2 эксперта с коэффициентами 0.3 и 0.3 – к оригинальным, то за первое множество проголосовало 0.4 общей компетентности группы, а за второе – 0.6, т.е. квалифицированное большинство. Соответственно, метод № 2 относят к множеству оригинальных в групповой оценке. Если выявить квалифицированное большинство не удается, допускается уточнение оценки путем дискуссии. В итоге необходимо получить три списка, третий из которых (7-10 способов) подвергают дальнейшей экспертизе.

12. Экспертные оценки. Построение балльных шкал и получение индивидуальных численных оценок.

Преподаватель корректирует число и формулировку способов. Методом дискуссии они конкретизируются.

Осуществим дальнейшую экспертизу отобранных для нее способов. Метод ее проведения зависит от того, какого рода информацию должны быть предоставлена руководителю организации для принятия решения. Пусть руководитель ожидает получить от группы экспертов 1) их мнения о предпочтительности тех или иных способов в форме ранговой оценки; 2) дополнительную информацию об эффективности различных способов в форме численных оценок.

Для этого на пятом этапе студентам (они снова выступают в роли рабочей группы) предлагается методом дискуссии разработать балльные шкалы для оценки следующих показателей (число градаций равное, не менее 5):

А) числа дополнительных покупателей (сколько их будет привлечено в течение ближайшего месяца);

Б) ориентировочной величины единовременных затрат;

В) долгосрочного эффекта от использования различных способов привлечения покупателей (речь идет об оценке всех показателей помимо первых двух пунктов, об эффекте с точки зрения внутренних и внешних связей рассматриваемой фирмы, как системы).

Так как последний показатель – качественный, необходимо проявить особое внимание при формулировке описания каждой градации.

Построенные шкалы предоставляются для проверки преподавателю.

Построенные шкалы используются для получения индивидуальных численных оценок (каждый студент оценивает все отобранные способы по трем показателям).

14. Экспертные оценки. Индивидуальное ранжирование, формирование групповых численных оценок и оценка их согласованности по отдельным факторам.

На шестом этапе экспертам предлагается проранжировать методы по предпочтительности с учетом названных показателей. Метод индивидуального ранжирования может быть произвольным. Студентам предлагается для самопроверки использовать два метода – непосредственное упорядочение и неполное двоичное сравнение (по желанию можно осуществить полное).

Если при двоичном сравнении Вы предполагаете использовать 0 в случае, если альтернативы равноценны, то и в непосредственном упорядочении не следует забывать о стандартизированных рангах для тех альтернатив, которые Вы не можете дифференцировать по предпочтительности.

В процессе построения предлагается не сверять между собой результаты, полученные разными методами. Если между ними обнаружились существенные различия, это может говорить о непоследовательности эксперта (возможно, при попарных сравнениях он высказал мнение, что А лучше Б, Б лучше В, а В лучше А, что содержит в себе логическое противоречие - нетранзитивность). При наличии такого рода противоречий имеет смысл еще раз обдумать свое мнение.

Оставшуюся часть работы – обработку результатов опроса – осуществляет рабочая группа.

На седьмом этапе методом взвешенного среднего формируются групповые численные оценки по трем показателям. Поскольку отсутствует возможность использовать для расчетов ПК, студентам разрешается рассчитать эти оценки не для всех способов, а хотя бы для одного (но не для такого, для которого все мнения полностью совпадают).

На восьмом этапе оценивается их согласованность как по отдельным показателям, так и по всем трем показателям одновременно. В качестве меры согласованности выберем СКО, и будем считать оценки согласованными, если оно составит не более 1 балла (студентам предлагается самостоятельно решить вопрос о том, рассматривать ли оценки, как случайную выборку, либо как генеральную совокупность; и соответствующим образом выбрать метод расчета).

15. Экспертные оценки. Оценка согласованности численных оценок (расчет расстояния), формирование группового ранжирования и оценка его согласованности.

Для оценки согласованности по всем показателям используем евклидово расстояние. Для этого каждый студент считает расстояние от своей оценки до 6 других оценок (остальных членов экспертной группы и групповой оценки). Результаты сверяются (например, расстояние между оценками Иванова и Петрова подсчитано дважды – Ивановым и Петровым; результат должен совпасть); сводятся в одну таблицу, и осуществляется ее анализ. Составляется аналитическая записка, в которой эта информация обобщается (существуют ли группы экспертов, чьи мнения наиболее близки между собой, чье мнение ближе всего к групповому, чье мнение дальше всего от группового, как он может это обосновать и т.п.). Рассчитываются средние расстояния. Будем считать оценки согласованными, если среднее попарное расстояние не превышает 3, а средневзвешенное расстояние до групповой оценки – 1.5.

На девятом этапе строится групповое ранжирование четырьмя методами:

по числу первых мест;

по сумме рангов;

по сумме рангов с уточнением по числу первых мест;

по сумме квадратов рангов.

Если результаты применения этих методов существенно различаются, это различие нужно попытаться объяснить, а также сделать выводы о тех способах, для которых групповое ранжирование не зависит от выбранного метода.

На десятом этапе подсчитывается коэффициент конкордации и оценивается его значимость по критерию Пирсона на уровне 5% (статистические таблицы находятся на столе преподавателя).

Студентам предлагается обдумать возможности совершенствования использованной методики проведения экспертизы (возможность письменно изложить свое мнение будет предоставлена на контрольной работе). Если предложений по ее совершенствованию у Вас нет, то просто укажите, какой из этапов экспертизы оказался для Вас самым сложным (и почему), а какой – наиболее простым, насколько значительно отличалось Ваше личное мнение от группового по различным вопросам, каков был (по Вашим воспоминаниям) Ваш вклад в проведенные дискуссию и мозговую атаку.

Дата добавления: 2013-12-12