Сравнительные результаты оценки систем 1 страница

		по критериям
				Среднего выигрыша	Лапласа	Вальда	Макимакса	Гурвица	Сэвиджа
	0,1	0,5	0,1	0,2	0,21	0,224	0,1	0,5	0,34	0,3
	0,2	0,3	0,2	0,4	0,28	0,275	0,2	0,4	0,32	0,2
	0,1	0,4	0,4	0,3	0,25	0,300	0,1	0,4	0,28	0,1

Тип критерия для выбора рационального варианта должен быть оговорен на этапе анализа систем, согласован с заказывающей организацией и в последующих задачах синтеза информационных и других сложных систем предполагается заданным. Процесс выбора вида критерия для учета неопределенности достаточно сложен. Устойчивость выбранного рационального варианта можно оценить на основе анализа по нескольким критериям. Если существует совпадение, то имеется большая уверенность в правильности выбора варианта.

В случаях, когда системы, выбранные по различным критериям, конкурируют между собой за право быть окончательно выбранными, могут применяться процедуры, основанные на мажоритарной обработке результатов оценки по простому большинству голосов. Особенностью мажоритарной обработки является опасность выбора системы, не являющейся лучшей, на основе многоэтапного выбора при группировке альтернатив в коалиции. Такая ситуация отражена на рис. 2.12, где 8 из 27 систем по разным критериям были оценены как худшие. Однако при группировке в коалиции и организации двухэтапной процедуры мажоритарной обработки в качестве лучшей была выбрана одна из худших систем.

В любом случае при выделении множества предпочтительных систем по разным критериям окончательный выбор системы должен осуществляться лицом, принимающим решение. При этом в операциях, которым в зависимости от характера соответствует либо пороговая, либо монотонная функция полезности, эффективность систем правомочно оценивать непосредственно по показателям исходов. Для детерминированных операций критерием эффективности будет служить сам показатель, для вероятностных — либо, вероятность получения допустимого значения показателя (при пороговой функции полезности), либо математическое ожидание значения показателя (при линейной функции полезности).

Оценка эффективности систем на основе показателей исходов в других случаях может приводить к неправильному выбору, поэтому переход к оценке эффективности систем без введения функции полезности должен всегда сопровождаться обоснованием.

2.5.5. ОЦЕНКА СИСТЕМ НА ОСНОВЕ МОДЕЛИ СИТУАЦИОННОГО УПРАВЛЕНИЯ

Теория ситуационного управления является наиболее стройной концепцией в области формализации систем предпочтений ЛПР. В подходе к формализации систем предпочтений, состоящем в построении семиотических моделей принятия решений, система предпочтений ЛПР формализуется в виде набора логических правил в определенном языке, по которым может быть осуществлен выбор альтернатив. При этом понятие векторного критерия заменяется на понятие решающего правила.

Оценка систем на основе векторной оптимизации и теории полезности предполагает, что множества альтернатив и исходов (а также законы распределения вероятностей на множестве исходов, если оценка систем проводится в условиях риска) заданы. Тем самым задача оценки систем сводится к задаче формализации системы предпочтений ЛПР. Кроме того, в упомянутых выше подходах не предусматривается наличие нечеткой среды.

В отличие от этих методов теория ситуационного управления учитывает упомянутое требование. Более того, в общей схеме ситуационного управления успешно могут быть применены практически все методы, разработанные в рамках первых двух подходов.

В основе метода ситуационного управления лежат два главных предположения:

1) все сведения о системе, целях и критериях ее функционирования, множестве возможных решений и критериях их выбора могут быть сообщены управляющей системе в виде набора фраз естественного языка;

2) модель управления принципиально открыта, и процесс ее обучения (формирования) никогда не завершается созданием окончательной формализованной модели.

Иными словами, метод ситуационного управления есть метод автоматизации решения задач управления такими системами, для которых, с одной стороны, невозможна или нецелесообразна формализация критерия оценки в виде систем математических уравнений, а с другой — возможно описание критерия ь виде правила принятия решений как совокупности фраз естественного языка. Понятно, что источником такого описания являются ЛПР или эксперт.

Решение задач оценки и управления ситуационным методом предполагает построение ситуационных моделей (имитирующих процессы, протекающие в объекте управления и управляющей системе) на базе следующих основных принципов:

1) создание моделей среды, объекта управления и управляющей системы в памяти ЭВМ;

2)построение моделей объекта управления и управляющей системы, а также описание состояния объекта в классе семиотических моделей;

3) формирование иерархической системы обобщенных описаний состояния объекта управления;

4) классификация состояний для вывода возможных решений;

5) прогнозирование последствий принимаемых решений; 6) обучение и самообучение.

Необходимость принципа 1 обусловливается потребностью включения ЭВМ в контур управления на возможно более ранних этапах оценки и поиска управляющего воздействия для повышения эффективности деятельности ЛПР. Данный принцип обеспечивает представление знаний о системе управления, их накопление в процессе функционирования системы моделей и использование для решения задач управления.

Содержание принципа 2, дополняющего первый, состоит в том, что представление всех необходимых моделей осуществляется с помощью элементов того языка, на котором ЛПР описывает систему управления и ее функционирование.

Семиотической будем называть модель управления, которая представлена с помощью элементов языка, используемого ЛПР при описании соответствующего процесса управления, и отображает закономерности процесса управления. Сформулируем понятие семиотической системы (или модели) как кортеж:

где g — алфавит;

e — множество синтаксических правил построения планов выражения (синтаксиса) знаков;

h — множество синтаксических правил построения планов содержания (семантики) знаков;

t — множество термов (в смысле исчисления предикатов);

n — множество синтаксических правил построения правильно построенных выражений;

l — множество семантически правильных выражений (фактов и законов для данной системы управления);

w — множество правил получения следствий из l — новых, правильно построенных выражений;

a — множество правил изменения синтаксиса семиотической системы (соответственно множеств g, e, h, t, n);

— множество правил изменения семантики семиотической системы (соответственно множеств l и w). Здесь важно отметить, что часть правил из множеств a и b может существовать вне семиотической системы, будучи незаложенной в нее.

Отличия семиотических систем от формальных, как следует из определения, состоят в следующем:

• семиотические системы имеют отсутствующее в формальных системах множество знаков, обладающих, в частности, планами выражения (синтаксисом) и содержания (семантикой);

• семиотические системы в отличие от формальных могут самостоятельно изменять свой синтаксис и семантику;

• семиотические системы являются открытыми, а не замкнутыми, как формальные. Открытость обусловливается возможностью изменения синтаксиса или семантики системы извне.

Процессы, протекающие в семиотических системах, в методе ситуационного управления принято описывать на языке rx-кодов и семантических сетей.

Под семантической сетью подразумевается граф, отражающий смысл целостного образа. Узлы графа соответствуют понятиям и объектам, а дуги — отношениям между объектами. Формально семантическую сеть можно задать в виде Н= , где I — множество информационных единиц; С_i — множество типов связей между информационными единицами; G — отображение, задающее конкретные отношения из имеющихся типов С_i, между элементами I.

Множества правил, о которых упоминалось при определении понятия семиотической системы, описываются на языке ситуационного управления правилами подстановки вида Н₁®Н₂,где Н₁, Н₂ — высказывания, описывающие факты (в том числе причины и следствия).

Состояние объекта управления в ситуационных моделях описывается в терминах ситуаций. Пусть — множество мультиграфов, где — множество вершин, — множество дуг мультиграфа, . Пусть также П — множество базовых и производных понятий и R — множество отношений, необходимых для описания системы управления и ее среды, Т — множество интервалов времени. Тогда ситуация S есть математическая структура

где

Из этого определения следует, что задачу оценки системы можно описать как семантическую сеть.

Поскольку наблюдение за объектом управления и средой организационной системы часто ведется на уровне базовых понятий (микроописание), а цели управления, в том числе критерии оценки, формулируются с помощью понятий более высоких уровней в виде обобщенных ситуаций (макроописание), возникает задача перехода от микроописания ситуации к макроописанию. В реализации этой задачи и состоит смысл принципа 3 построения ситуационных моделей. В процессе перехода на базе свойств элементов описаний производится формальное пополнение последних новыми элементами. Обобщенные описания, так же как и наиболее детальное, представляются на языке ситуационного управления.

Пусть множество возможных ситуаций на объекте управления, множество классов возможных оценок ситуаций (решений). Тогда для обширного класса задач управления В связи с этим задачу оценки можно сформулировать как поиск такого разбиения множества ситуаций на классы , при котором каждому классу ситуаций соответствует класс решений ,оптимальный относительно критериев качества. Однако в общем случае удается найти не разбиение, а лишь покрытие множества . После определения класса решений производится уточнение управляющего воздействия до конкретного решения или вывод решения. Изложенное составляет сущность принципа 4 построения ситуационных моделей.

В связи с тем, что покрытие множества не дает возможности однозначно определить решение, возникает необходимость выбора лучшего варианта решения. Поскольку в большинстве случаев требуется не непосредственное оценивание варианта решения, а оценивание его последствий, принцип 5 построения ситуационных моделей предусматривает прогнозирование изменения ситуации на объекте управления под воздействием некоторого варианта решения. Процессы в соответствующей семиотической имитационной модели описываются, как и все предыдущие, на языке ситуационного управления с помощью правил подстановки. Прогнозирование осуществляется на определенное число шагов, зависящее от конкретной задачи управления.

Организационные системы — объект, эволюционирующий (по отношению к времени жизни автоматизированной системы управления) достаточно быстро, вследствие чего ситуационная модель должна выявлять необходимость корректировки своих элементов и иметь средства реализации корректировки как автоматической, так и с помощью «учителя». Кроме того, такие средства позволяют уменьшить объем работы ЛПР по формированию модели, что повышает эффективность ее использования. Поэтому ситуационные модели строятся с учетом принципа 6 — обучение и самообучение.

Основные этапы оценки системы на основе ситуационных моделей включают:

• получение описания текущей ситуации, имеющейся на анализируемом объекте управления;

• пополнение микроописания ситуации;

• классификацию ситуации и выявление классов возможных решений по оценке систем (при этом движение осуществляется от микро- к макроописанию);

• вывод допустимых оценок (при этом происходит обратное движение по иерархическим уровням представления знаний ситуационной модели);

• прогнозирование последствий принятия допустимых решений в качестве окончательных оценок;

• принятие решения по оценке.

Глава 3. ПРИМЕРЫ КОНЦЕПТУАЛЬНЫХ МОДЕЛЕЙ И МЕТОДИК ОЦЕНИВАНИЯ СИСТЕМ

3.1. СПОСОБЫ ИЗМЕРЕНИЯ КОМПЬЮТЕРНЫХ СИСТЕМ

Теоретические положения системного анализа определенное время рассматривались только как некая философия инженера и поэтому при решении задач создания искусственных систем иногда не учитывались. Однако развитие техники привело к тому, что без системного анализа, одним из результатов которого являются концептуальные модели, исследование функционирования систем становится невозможным.

Первоначально компьютер отождествлялся с центральным процессором, основной и понятной характеристикой которого было быстродействие, измеряемое числом команд в единицу времени. Поэтому традиционные методики оценки (benchmarks) отражают только возможности центрального процессора. В осно-це такой оценки лежит понятие производительности. При этом выделяют так называемое «чистое» процессорное время - период работы собственно процессора при выполнении внутренних операций и время ответа, включающее выполнение операций ввода-вывода, работу ОС и т.д.

Есть два показателя производительности процессоров по «чистому» времени:

1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (Million Instruction Per Second - миллион машинных команд в секунду) - отношение числа команд в программе к времени ее выполнения;

2) показатель производительности процессоров на операциях с данными вещественного типа (float point) MFLOPS (миллион арифметических операций над числами с плавающей точкой в секунду).

С понятием MIPS связывалась ранее и другая метрика, основанная на производительности вычислительной системы DEC VAX 11/780. Еще одно определение MIPS используется пользователями и производителями техники IBM, когда за норму выбирается одна из моделей RS/6000. При этом 1 MIPS IBM =1.6 MIPS DEC.

При всей кажущейся простоте критерия оценки (чем больше MIPS (MFLOPS), тем быстрее выполняется программа) его использование затруднено вследствие нескольких причин:

Процессоры разной архитектуры (особенно RISC) имеют различный набор команд. Так, совмещенная операция умножения и сложения векторов в процессоре POWER 2 существенно сокращает число операций. Кроме того, можно выделить «быстрые» (например, сложение, вычитание) и «медленные» (например, деление) операции, а в результате рейтинг MFLOPS для разных программ окажется разным.

Применение математических сопроцессоров и оптимизирующих компиляторов увеличивает производительность системы, однако рейтинг MIPS может уменьшиться, так как время выполнения команд для операций над данными с плавающей точкой значительно больше и за единицу времени может быть выполнено меньшее число команд, нежели при выполнении соответствующих этим командам подпрограмм.

Научные приложения в основном связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные - с целочисленной арифметикой и обработкой транзакций баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической подсистемы.

Еще более сложные проблемы появляются при необходимости оценок многопроцессорных систем, в частности SMP (Symmetric Multiprocessing - симметричная мультипроцессорная обработка) и МРР (Massively Parallel Processing - обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от архитектуры процессора и типа выполняемой программы. Такое положение привело к разработке и использованию рада тестов, ориентированных на оценку вычислительных систем с учетом специфики их предполагаемого использования. Поэтому оценка процессоров с разной архитектурой основана на создании тестовой смеси из типовых операторов, влияющих на их производительность.

3.2. ТЕСТЫ DHRYSTONE, LINPACK И «ЛИВЕРМОРСКИЕ ЦИКЛЫ»

Для работы с показателями MIPS и MFLOPS чаще всего используются системы тестов Dhrystone, LINPACK и «Ливерморские циклы».

Тестовая смесь Dhrystone состоит из 100 команд: 53 - операторы присвоения, 32 - управления и 15 - вызова функций. Результатом работы этого теста является число Dhrystone в секунду. При этом на системе DEC VAX 11/780 результат составлял 1757 Dhrystone, и поэтому считалось, что 1 DEC MIPS равен 1757 t)hrystone. Сейчас Dhrystone практически не применяется.

Тесты LINPACK и «Ливерморские циклы» появились в середине 60-х гг.

«Ливерморские циклы» состоят из фрагментов программ для решения численных задач на языке Фортран, имеющих реальное хождение в Ливерморской национальной лаборатории им. Лоуренса в США. В этих фрагментах используются различные вычислительные алгоритмы: сеточные, последовательные, волновые, что существенно относительно соответствия вычислительных и аппаратных структур. Соответствие этих структур друг другу должно обеспечить максимальную эффективность вычислений. При проведении тестовых испытаний может использоваться либо набор из 14 циклов (малый набор), либо набор из 24 циклов (большой набор). При использовании векторных и параллельных машин важным фактором, определяющим эффективность работы для конкретного приложения, является коэффициент векторизуемости алгоритма. На «Ливерморских циклах» этот коэффициент составляет от 0 до 100 %, что подтверждает возможность их применения для широкого круга вычислительных систем.

LINPACK включает набор программ на Фортране, предназначенных для решения систем линейных алгебраических уравнений. Важность этого тестового набора, так же как и «Ливерморских циклов», определяется практической значимостью и применимостью этих алгоритмов для решения реальных задач. В основе используемых в LINPACK алгоритмов лежит метод декомпозиции: исходная матрица представляется в виде произведения двух матриц стандартной структуры, к которому собственно и применяется алгоритм нахождения решения. Важная особенность системы LINPACK - ее структурированность. В частности, выделяется базовый уровень системы, обеспечивающий реализацию элементарных операций над векторами, куда входят подпрограммы умножения векторов на скаляр и сложения векторов, а также скалярного произведения векторов. Этот уровень называется BLAS (Basic Linear Algebra Subprograms). Все операции выполняются над вещественными числами двойной точности, а результат измерения выражается в MFLOPS.

В настоящее время используются два уровня теста: LINPACK DP - для исходной матрицы размером 100x100 и LINPACK ТРР - для матрицы размером 1000x1000. Для многих современных вычислительных систем первый уровень этого теста может дать заведомо превосходящие возможности системы результаты за счет того, что исходная матрица размером 100x100 может быть целиком размещена в кэш-памяти. Использование теста LINPACK ТРР пока снимает эту проблему, однако даже и этот тест для систем с массовым параллелизмом не может быть использован. Для таких систем рекомендуется тест LINPACK HPC (Highly Parallel Computing), который позволяет полностью загрузить вычислительные ресурсы МРР-системы, увеличивая размеры матрицы. При этом следует иметь в виду, что для параллельных систем (SMP и МРР) применяются специальные варианты этого теста, обеспечивающие распараллеливание вычислений.

3.3. МЕТОДИКА SPEC

Ведущие производители компьютерных систем в 1988 г. создали некоммерческую корпорацию SPEC (Strandard Performance Evaluation Corporation), призванную дать объективную оценку производительности вычислительных систем. Корпорация SPEC является разработчиком тестов, проводит тестирование и публикует результаты в специальном бюллетене «The SPEC Newsletter», который размещается на WWW-сервере www.SPEC.com. Оценки, публикуемые комитетом SPEC, являются официальными, признаваемыми всеми разработчиками тестов.

Основным набором в SPEC был тест SPECint89 для оценки процессора на операциях с данными целочисленного типа и SPECfp89 для оценки при работе с данными вещественного типа. Появление в начале 90-х гг. нового поколения RISC-процессоров (PowerPC, PA-7200, MIPS, Rxxxx) сделало невозможным использование этого набора из-за резкого уменьшения времени выполнения и влияния на производительность оптимизирующих компиляторов.

Тестовый набор был преобразован в смеси SPECint92 и SPECfp92, учитывающие эффективность работы с памятью. Производительность тестируемой системы измерялась в условных единицах относительно базовой DEC VAX 11/780.

Комплексный показатель качества по методике SPEC определяется как среднегеометрическое времени выполнения программ, входящих в тестовую смесь.

При этом использовалось среднее значение для всех тестов, образуемых SPECint92 и SPECfp92. С разработкой нового поколения оптимизирующих компиляторов для RISC-процессоров консорциум SPEC в 1994 г. внес новые поправки-требования к используемым компиляторам. Тесты получили название SPECbase_int92 и SPECbase_fp92 и применялись для оценки работы в однозадачном режиме.

Известно, что некоторые однопроцессорные системы способны выполнить одну задачу быстрее многопроцессорных, однако этот факт не дает полной картины интегрального поведения системы в целом, так как многопроцессорные комплексы могут выполнять больше заданий в единицу времени, поэтому в режиме многозадачности оценка производительности основана не на вычислении времени выполнения тестовой смеси, а на пропускной способности системы, измеряемой количеством заданий, выполненных за единицу времени.

Если один процессор за минуту выполняет одну работу, а система из четырех процессоров делает это за две, то многопроцессорная система работает в два раза медленнее, но имеет загрузку в два раза больше, чем однопроцессорная. Загрузка находится в прямой зависимости от размера кэш-памяти, скорости шины, емкости оперативной памяти.

Набор тестовых программ для оценки пропускной способности SPECrate полностью аналогичен наборам SPECint92 и SPECftp92 - это те же программы, но размноженные на несколько одновременно запускаемых копий. Результирующее значение по методике SPECrate вычисляется по формуле:

SPECrate = число_копий * ref_const * cpu_const / общее_время.

Число одновременно выполняемых задач может выбираться произвольным образом. Очевидное решение - число, равное количеству процессоров, однако для каждой конкретной архитектуры возможны свои особенности. Величины ref_const и cpu_const для каждого теста являются постоянными коэффициентами. Общее время - время завершения последней из всех запущенных работ.

В методике используется принцип однородной загрузки (тестовая смесь SPECint92 и SPECftp92), а в качестве конечного результата выступает среднее значение по всем тестам. При работе в мультипрограммной системе может варьироваться количество запускаемых копий, а время фиксироваться по завершении выполнения последней копии. Оценки по данной методике называются SPECrate_int92 и SPECrate_ftp92.

С октября 1995 г. для оценки производительности процессоров, оперативной памяти и компиляторов был объявлен новый тестовый комплект, включающий SPECint95 для операций с данными целочисленного типа и SPECftp95 - для операций с данными вещественного типа. Эти тестовые наборы предъявляют следующие ограничения и требования: достаточно большой размер кода и данных, чтобы он гарантированно не размещался целиком в кэш-памяти; увеличения времени выполнения тестов с секунд до минут; реалистичность используемых фрагментов программ; применение усовершенствованного способа измерения времени; реализация более удобных инструментальных средств; стандартизация требований к компиляторам и методов вызова.

Оценка систем проводится после пересчета результатов измерений по итоговому рейтингу - ранжировке систем относительно производительности базового процессора в соответствии с комплексным показателем. Подчеркивается, что задача комплексной оценки вычислительной системы в целом, включая периферийное оборудование, графическую подсистему, сетевое оборудование, ввод-вывод данных, остается за рамками тестов SPECint95 и SPECftp95.

В табл. 3.1 приведены результаты тестирования некоторых процессоров.

Таблица 3.1 Результаты тестирования микропроцессоров

Микропроцессор	Разрядность	Частота, МГц	SPECint95	SPECftp95
Alpha 21 164 PentiumPro UltraSPARC Alpha 21 164 MIPS R10000 WaSPARC-II POWER2 Super	64 32 64 64 64 64 32		12.4 9.3 6.5 8.5 5.5	17 7.4

Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, использование которого является обязательным:

средства оценки, основанные на вычислении среднего времени из серии запусков, исключающие внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В отчете присутствует «базовое» время (References time) – время выполнения теста на эталонной машине, в качестве которой используется SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня. В отчет включается также относительное время выполнения тестов по сравнению со временем отработки тестов на эталонной машине; эта оценка является основной для данного набора;

автоматическое формирование отчета, в котором должно присутствовать полное описание конфигурации тестируемой системы, операционной системы и ключей запуска компилятора.

Оценка производительности проводится по двум частным показателям:

скорости выполнения теста с оптимизированным (SPECint_95 и SPECftp_95) и неоптимизированным (SPECint_base_95 и SPECftp_base_95) режимами компиляции;

пропускной способности системы для многопроцессорных архитектур и/или для многозадачного режима работы в оптимизированном (SPECint_rate95 и SPECftp_rate95) и неоптимизированном (SPECint_rate_base95 и SPECftp_rate_basefp95) режимах работы.

Смесь SPECint_95 включает 8, a SPECftp_95 - 10 программ. Перечень программ, время их выполнения на эталонной машине, прикладная область и характеризующие ее спецификации показаны в табл. 3.2. Набор целочисленных программ написан на языке Си, а для работы с плавающей арифметикой - на Фортране.

Как видно из табл. 3.2, в тестовый набор включены программы, используемые в различных прикладных областях. Это допускает проведение не только комплексного сравнения по итоговому рейтингу, но и узкоориентированного - по конкретной программе, в случае если предполагаемое использование вычислительной системы соответствует выбранной предметной области.

Дата добавления: 2015-04-29