Формирование детального представления системы 3 страница

Следующее важное требование к ПИО — измеримость его составляющих с помощью либо натурного эксперимента, либо моделей операции. Если рассматриваемая операция не позволяет это сделать, ее целесообразно разложить на подоперации, обеспечивающие измеримость составляющих. Процесс декомпозиции операции на подоперации может быть многоуровневым. Например, операцию «Решение задач управления» можно разделить на подоперации: «Решение задач планирования» и «Решение задач оперативного управления», а последние, в свою очередь, — на «Решение задач учета», «Решение задач контроля» и т.д.

При определении задач ПИО необходимо стремиться к ясности их физического смысла, т.е. чтобы они измерялись с помощью количественных мер, доступных для восприятия. Однако достичь этого удается не всегда. Тогда приходится вводить так называемые субъективные составляющие ПИО. Например, такое свойство людей, как обученность, обычно не может быть определено с помощью характеристик, имеющих физический смысл. В этом случае часто вводят некоторую искусственную шкалу. Другой способ обеспечения измеримости составляющих ПИО переход к показателям-заменителям, косвенно характеризующим рассматриваемое свойство. Требование ясности физического смысла ограничивает возможности агрегирования частных показателей в один критерий. Так, например, не имеет физического смысла обобщенный скалярный показатель, составленный из частных показателей результативности, ресурсоемкости и оперативности.

Важным требованием к ПИО является минимизация его размерности, т. е. обеспечение неизбыточного набора составляющих. С ростом количества составляющих резко возрастает трудоемкость построения функции эффективности.

И, наконец, в группу основных требований к составляющим ПИО обычно вводят их относительно высокую чувствительность к изменениям значений управляемых характеристик.

Таким образом, набор составляющих ПИО может быть определен различными способами, поскольку к настоящему времени еще не существует формальной теории, обеспечивающей объективное решение этой задачи. Два лица, принимающие решение на одну и ту же операцию, могут определить различный состав ПИО. Важно лишь то, что, используя различные ПИО, они должны выбрать одинаковое решение — оптимальное.

2.4. Методы оценивания систем разделяются на качественные и количественные.

Качественные методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках, отсутствуют описания закономерностей систем в виде аналитических зависимостей. В результате такого моделирования разрабатывается концептуальная модель системы.

Количественные методы используются на последующих этапах моделирования для количественного анализа вариантов системы.

Между этими крайними методами имеются и такие, с помощью которых стремятся охватить все этапы моделирования от постановки задачи до оценки вариантов, но для представления задачи оценивания привлекают разные исходные концепции и терминологию с разной степенью формализации. К ним относят:

• кибернетический подход к разработке адаптивных систем управления, проектирования и принятия решений (который исходит из теории автоматического управления применительно к организационным системам);

• информационно-гносеологический подход к моделированию систем (основанный на общности процессов отражения, познания в системах различной физической природы);

• структурный и объектно-ориентированные подходы системного анализа;

• метод ситуационного моделирования;

• метод имитационного динамического моделирования.

Такие методы позволяют разрабатывать как концептуальные, так и строго формализованные модели, обеспечивающие требуемое качество оценки систем.

Во всех методах смысл задачи оценивания состоит в сопоставлении рассматриваемой системе (альтернативе) вектора из критериального пространства К_т, координаты точек которого рассматриваются как оценки по соответствующим критериям.

Например, пусть множество Q. разбито на i подмножеств Q1,Q2,...,Qi. Для элемента х Q необходимо указать, к какому из подмножеств Q i он относится. В этом случае элементу х сопоставляется одно из чисел 1, 2,...,i, в зависимости от номера содержащего его подмножества.

Простейшей формой задачи оценивания является обычная задача измерения, когда оценивание есть сравнение с эталоном, а решение задачи находится подсчетом числа эталонных единиц в измеряемом объекте. Например, пусть х - отрезок, длину которого надо измерить. В этом случае отрезку сопоставляется действительное число (х) - его длина.

Более сложные задачи оценивания разделяются на задачи: парного сравнения, ранжирования, классификации, численной оценки.

Задача парного сравнения заключается в выявлении лучшего из двух имеющихся объектов. Задача ранжирования - в упорядочении субъектов, образующих систему, по убыванию (возрастанию) значения некоторого признака. Задача классификации - в отнесении заданного элемента к одному из подмножеств. Задача численнюй оценки - в сопоставлении системе одного или нескольких чисел.

Перечисленные задачи могут быть решены непосредственно лицом, принимающим решение, или с помощью экспертов - специалистов в исследуемой области. Во втором случае решение задачи оценивания называется экспертизой.

Качественные методы измерения и оценивания характеристик систем, используемые в системном анализе, достаточно многочисленны и разнообразны.

К основным методам качественного оценивания систем относят:

· методы типа мозговой атаки или коллективной генерации идей;

· типа сценариев;

· экспертных оценок;

· типа Дельфи;

· типа дерева целей;

· морфологические методы.

2.4.1 МЕТОДЫ ТИПА «МОЗГОВАЯ АТАКА» ИЛИ «КОЛЛЕКТИВНАЯ ГЕНЕРАЦИЯ ИДЕЙ»

Концепция «мозговая атака» получила широкое распространение с начала 50-х гг. как метод тренировки мышления, нацеленный на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления. Методы этого типа известны также под названиями «мозговой штурм», «конференция идей», «коллективная генерация идей» (КГИ).

Обычно при проведении сессий КГИ стараются выполнять определенные правила, суть которых:

• обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;

• приветствовать любые идеи, даже если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производятся позднее);

• не допускать критики любой идеи, не объявлять ее ложной и не прекращать обсуждение;

• желательно высказывать как можно больше идей, особенно нетривиальных.

В зависимости от принятых правил и жесткости их выполнения различают прямую «мозговую атаку», метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время стараются ввести правила, помогающие сформировать некоторую систему идей, т.е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно нацелить участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед началом сессии участникам представляется некоторая предварительная информация об обсуждаемой проблеме в письменной или устной форме. Подобием сессий КГИ можно считать разного рода совещания - конструктораты, заседания научных советов по проблемам, заседания специально создаваемых временных комиссий и другие собрания компетентных специалистов.

Так как на практике трудно собрать специалистов ввиду их занятости по основной работе, желательно привлекать компетентных специалистов, не требуя обязательного их присутствия на общих собраниях КГИ и устного высказывания своих соображений хотя бы на первом этапе системного анализа при формировании предварительных вариантов.

2.4.2. МЕТОДЫ ТИПА СЦЕНАРИЕВ

Методы подготовки и согласования представлений о проблеме или анализируемом объекте, изложенные в письменном виде, получили название сценария. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, упорядоченные по времени. Однако требование временных координат позднее было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы или предложения по ее решению независимо от того, в какой форме он представлен.

Сценарий не только предусматривает содержательные рассуждения, которые помогают не упустить детали, обычно не учитываемые при формальном представлении системы (в этом и заключалась первоначально основная роль сценария), но и содержит результаты количественного технико-экономического или статистического анализа с предварительными выводами, которые можно получить на их основе. Группа экспертов, подготавливающих сценарии, пользуется правом получения необходимых справок от организаций, консультаций специалистов. Понятие сценариев расширяется в направлении, как областей применения, так и форм представления и методов их разработки: в сценарий не только вводятся количественные параметры и устанавливаются их взаимосвязи, но и предлагаются методики составления сценариев с использованием ЭВМ.

На практике по типу сценариев разрабатывались прогнозы в некоторых отраслях промышленности. В настоящее время разновидностью сценариев можно считать предложения к комплексным программам развития отраслей народного хозяйства, подготавливаемые организациями или специальными комиссиями. Существенную помощь в подготовке сценариев оказывают специалисты по системному анализу. Весьма перспективной представляется разработка специализированных информационно-поисковых систем, накапливающих прогнозную информацию по данной отрасли и по смежным отраслям.

Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию или разработке вариантов проекта. Таким образом, сценарий помогает составить представление о проблеме, а затем приступить к более формализованному представлению системы в виде графиков, таблиц для проведения других методов системного анализа.

2.4.3. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова ехреrt - «опытный».

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Этапы экспертизы: формирование цели, разработка процедуры экспертизы, формирование группы экспертов, опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < W< 1, где W=0 означает полную противоположность, а W=1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если

W= 0,7-0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции р, он принимает значения -1 < р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение р = -1 - двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Тип используемых процедур экспертизы зависит от задачи оценивания.

К наиболее употребительным процедурам экспертных измерений относятся:

· ранжирование;

· парное сравнивание;

· множественные сравнения;

· непосредственная оценка;

· Черчмена-Акоффа;

· метод Терстоуна;

· метод фон Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых или оцениваемых альтернатив (объектов) А ={a₁,…a_n} и сформулированы один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов. Эта процедура включает построение отношений между объектами эмпирической системы, выбор преобразования и определение типа шкал измерений. С учетом изложенных выше обстоятельств рассмотрим каждый метод измерения.

Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность a₁>a₂>…>a, где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел х₁ >... > x_{N ,} , где х_i=φ (а_i). Возможна и обратная последовательность x₁ <... <x_N, в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.

Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале.

В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел:

х_] = φ(а₁) = 1, х₂ = φ(а₂) = 2,...,x_N = φ (а_N) = N,

т.е. используется числовая последовательность. Числа x₁,, х₂ ,..., x_Nв этом случае называются рангами и обычно обозначаются буквами r₁, г₂,..., rN. Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа «более предпочтительно» (>), «менее предпочтительно» (<), «равноценно» (≈) или «безразлично» (~). Упорядочение объектов при этом может иметь, например, следующий вид:

a₁>a₂>a₃≈a₄ ≈a₅>a₆ >…>a_N-1≈a_N.

Такое упорядочение образует нестрогий линейный порядок.

Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом.

Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N=10 ранги объектов a₃,a₄,a₅будут равными г₃ = г₄ = r ₅ = (3+4+5) /3 = 4.

В этом же примере ранги объектов a₉,a₁₀ также одинаковы и равны среднеарифметическому r₉ = r₁₀ = (9+10) / 2 = 9,5. Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов Nобъектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

При групповом ранжировании каждый s-й эксперт присваивает каждому i-му объекту ранг is. В результате проведения экспертизы получается матрица рангов || r_is|| размерности k, где k - число экспертов; N - число объектов; S = 1, k;

i= 1, N. Результаты группового экспертного ранжирования удобно представить в виде табл 2.5.

Аналогичный вид имеет таблица, если осуществляется ранжирование объектов одним экспертом по нескольким показателям сравнения. При этом в таблице вместо экспертов в соответствующих графах указываются показатели. Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим.

Таблица 2.5.

объект	Э1	Э2	…	Эk
a1	r11	r12	…	r1k
a2	r21	r22	…	r2k
…	…	…	…	…
an	rn1	rn2	…	rnk

Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чем 7 ± 2 объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов a_i, а_j, эксперт упорядочивает ее, высказывая либо а_i >а_j, либо а_j > а_i,либо а_i≈a_j. Выбор числового представления φ (а_i) можно произвести так: если а_i>а_j, то φ (а_i) > φ (а_j); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. φ (a_i) < φ (а_j). Если объекты эквивалентны, то можно считать, что φ (а_i) = φ(а_j).

В практике парного сравнения используются следующие числовые представления:

(1)

(2)

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов а₁, а₂, а₃, а₄, а₅ и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде

a₁>a₂,a₁>a₃,a₁>a₄,a₁<a₅,a₂>a₃,a₂>a₄,a₂<a₅,a₃ ≈a₄,a₃<a₅,a₄<a₅.

Используя числовое представление (1), составим матрицу измерения результатов парных сравнений (табл. 2.6).

В табл. 2.6 на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2) характерно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в табл. 2.7 приведены результаты измерения пяти объектов с использованием представления (2), соответствующие табл. 2.6.

Вместо представления (2) часто используют эквивалентное ему представление

(3)

которое получается из (2) заменой 2 на +1, 1 на 0 и 0 на 1.

Если сравнение пар объектов производится отдельно по различным показателям или сравнение осуществляет группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а₁ предпочтительнее объекта а₂ ,, а₂предпочтительнее объекта а₃ и в то же время a₃ предпочтительнее объекта a₁.

В случае разбиения объекта на классы эксперт может к одному классу отнести пары a₁ и a₂, a₂ иa₃, но в то же время объекты а₂ и а₃ отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностъю рассматриваемых объектов и т.д.

Непоследовательность эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзитивности.

Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., n-ки (n<N) объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рис.1 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

Поскольку за начало отсчета выбрана нулевая точка, то в дан
ном примере измерение производится в шкале отношений. Экс
перт соединяет каждый объект линией с точкой числовой оси и
получает следующие числовые представления объектов (см.рис.2.6):

φ(a₁) = 0,28; φ(a₂) = φ(a₅) = 0,75; φ(a₃) = 0,2; φ(a₄) = 0,5.

Дата добавления: 2015-04-29