Способы измерения реальной производительности

При оценке производительности на тестах приходится решать три проблемы, связанные с анализом результатов контрольного тестирования производительности [47]:

ü отделение показателей, которым можно доверять безоговорочно, от тех, которые должны восприниматься с известной долей настороженности (проблема достоверности оценок);

ü выбор контрольно-оценочных тестов, наиболее точно характеризующих производительность при обработке типовых задач пользователя (проблема адекватности оценок);

ü правильное истолкование результатов тестирования производительности, особенно если они выражены в довольно экзотических единицах типа MWIPS (Mega Whetstone Instructions Per Second) [48], Dhrystones/s и т.д. (проблема интерпретации).

Существующие тестовые наборы можно разбить на три группы. Первую группу тестов измерения производительности составляют тесты производителей, разрабатываемые компаниями – изготовителями компьютеров для "внутреннего" применения – оценивания качества собственных продуктов. Главная особенность данных тестов заключается в том, что они ориентированы на сравнение ограниченного множества однотипных компьютеров, часто относящихся к одному семейству. Эти тесты позволяют разработчикам компьютеров оптимизировать структурно-технические решения. Например, для оценки производительности микропроцессоров с архитектурой х86 компания Intel в I992 году предложила индекс производительности iCOMP (Intel Comparative Microprocessor Performance). В качестве эталонного процессора принят 486 SX-25, значение индекса для которого равно 100. Индекс iCOMP определяется при выполнении синтетического теста, формирующего смесь операций, состоящую из 67% операций над 16-разрядными целыми, 3% операций над 16-разрядными числами с плавающей точкой, 25% над 32-разрядными целыми и 5% над 32-разрядными числами с плавающей точкой. К примеру, индексы iCOMP для микропроцессоров 486 SX2-50, Pentium-100 и Pentium-166 равны 180, 815 и 1308 соответственно. Следует отметить, что индекс iCOMP оценивает производительность микропроцессора как такового, а не вычислительной установки, включающей еще оперативную память и внешние устройства.

В IBM имеются специализированные тестовые пакеты для измерения производительности компьютеров с архитектурой мэйнфреймов семейства System/370 и System/390, а также тесты для компьютеров с архитектурой AS/400.

Тесты производителей являются почти идеальным средством оценивания быстродействия и технико-экономических показателей процессоров и вычислительных систем с одной и той же архитектурой, но разными средствами ее реализации, однако они не могут быть в чистом виде использованы для других компьютеров – сказывается слишком явная ориентация тестов на конкретную "фирменную" архитектуру. Эти тесты используются создателями систем оценки различных вариантов реализации.

Вторую группу составляют стандартные тесты. Стандартные тесты, разработанные для сравнения широкого спектра компьютеров, часто претендуют на роль полностью универсальных средств измерения производительности. В основе подобных амбиций лежит то, что разработчиками тестов этой категории являются либо независимые аналитики, (например, Джек Донгарра, предложивший совместно с группой других исследователей тестовый пакет Unpack [49]), либо группы, объединяющие крупнейших производителей компьютеров SPEC (Standard Performance Evaluation Corporation) [50]. Коллективный характер разработки практически исключает возможность ориентации стандартного теста на конкретного поставщика компьютеров.

Третья группа тестов состоит из пользовательских тестов, учитывающих специфику конкретного применения компьютера или вычислительной системы. Пользовательские тесты создаются крупными компаниями, специализирующимися на внедрении компьютерных технологий, или совместными усилиями группы пользователей, объединенных сходством решаемых задач.

Пользовательские тесты предназначены специально для выбора компьютеров и программного обеспечения, наиболее подходящих под определенные прикладные задачи. В принципе такой подход позволяет получить наиболее точные оценки производительности для конкретного класса приложений, хотя, и сопряжен со значительными усилиями пользователей по созданию тестовых программ и проведению испытаний компьютеров.

Дата добавления: 2015-06-25