Пакеты тестовых программ SPEC CPU

Обзор тестов

Корпорация SPEC развивает тестовые пакеты для оценки производительности компьютеров в различных режимах их использования. Корпорация ставит целью объективное сопоставление параметров так, чтобы ни сами тесты, ни режимы их компиляции не могли быть ориентированы на какого-либо производителя. Исторически корпорация SPEC создала следующие тестовые пакеты для оценки производительности процессоров: SPEC CPU 89, SPEC CPU 92, SPEC CPU 95, SPEC CPU 2000. В настоящее время результаты тестов SPEC CPU 95, SPEC CPU 2000 компьютеров разных производителей доступны на http://www.specbench.org/osg/cpu2000/results. Смена тестовых пакетов в основном обусловлена развитием микропроцессоров и прогрессом в понимании методики тестирования. История развития тестовых пакетов SPEC CPU будет способствовать пониманию сложности проблемы оценки производительности.

Пакет SPEC CPU 89

Пакет SPEC CPU 89 включает два тестовых набора – Gint89, состоящий из четырех программ целочисленной обработки, и Cfp89, объединяющий шесть программ со значительным объемом операций над числами с плавающей точкой двойной точности. Все десять программ представляют собой достаточно сложные коды на языках С и Foil ran с широким спектром решаемых задач -- от оптимизации представлений функций булевой логики в программируемых логических схемах до моделирования замещения атомов в квантовой химии.

Методика оценки производительности SPEC 89 предполагает формирование десяти дифференциальных оценок SPECratioj, каждая из которых определяется как отношение времени выполнения программы № i из наборов Cint89 и Cfp89 на тестируемом компьютере ко времени выполнения той же программы на ЭВМ DEC VAX 11/780.

Интегральной характеристикой производительности компьютера служит показатель SPECmark, являющийся средним геометрическим всех десяти частных оценок SPECratio. К параметру SPECmark добавлены еще две оценки – SPECint89 и SPECfp89, раздельно характеризующие быстродействие компьютера при обработке целочисленных данных и вещественных чисел. Принцип расчета этих показателей не отличается от вычисления SPECmark: SPECint89 представляет собой среднее геометрическое частных оценок SPECratio для четырех программ из набора Cint89, a SPECfp89 – аналогичную величину для шести программ из состава Cfp89.

Этот пакет расширяет совокупность классов задач, представленных в тесте, по сравнению со SPEC 89. Методика расчета основных характеристик производительности в SPEC 92 не претерпела никаких принципиальных изменений. Показатели SPECint92 и SPECfp92 по-прежнему определяются средними геометрическими частных оценок SPECratio, полученных при тестовом прогоне программ из наборов Cint92 и Cfp92 (конечно, с учетом увеличения числа тестовых программ).

Пакет оценочных программ Cint92 предназначен для оценки производительности вычислительных систем при выполнении целочисленных операций преимущественно в коммерческой области применения. В его состав входят 6 эталонных тестов, написанных на языке С и представляющих собой задачу из теории сетей, интерпретатор языка Lisp, задачу логического проектирования, UNIX-утилиту упаковки тестового файла размером 1 Мбайт, который 20 раз подвергается сжатию, операции со строками и столбцами электронной таблицы и компилятор языка С.

Пакет оценочных программ Cfp92 предназначен для оценки производительности ВС при выполнении операций с плавающей точкой (преимущественно в технической и научной областях применения).

В его состав входят 14 реальных прикладных программ, две из которых написаны на языке Си 12 на языке Fortran. В пакет входят программы схемного проектирования, моделирования термодинамики ядерного реактора методом Монте-Карло, задачи квантовой химии и физики, решение уравнений Максвелла, преобразование координат, трассировка оптических лучей, задачи робототехники и нейросетей, моделирования человеческого уха, решение уравнений Навье-Стокса для определения параметра межгалактического газа, семь библиотечных функций обработки матриц (умножение, обращение и т. д.) и ряд других.

Но одно качественное новшество в SPEC 92 все-таки введено. Речь идет о характеристиках мультипрограммной обработки SPECrate, формируемых в рамках метода однородной нагрузки. Суть последнего заключается в следующем: тестируемая ВС выполняет задание, состоящее из множества копий одной программы, а показателем производительности многопроцессорной обработки служит количество копий, завершенных за определенный интервал времени. Для получения оценки SPECrate используются те же программы, что и для расчета показателей SPECint92 и SPECfp92. Разница только в том, что тестовый модуль реализуется как несколько копий, образующих одно задание, а результатом измерений является нормированное общее время выполнения всех копий задания. Подобной процедуре подвергается каждая из 20 тестовых программ, что позволяет получить шесть частных оценок SPECratio, для программ целочисленной обработки и 14 для программ обработки вещественных чисел.

Таким образом, SPECrateint92 и SPECratefp92 оценивают среднюю скорость выполнения задач в многопроцессорном режиме работы системы. Кроме того, эти показатели позволяют получить представление о возможностях компилятора по организации параллельного мультизадачного кода, а также операционной системы – по эффективному динамическому распределению ресурсов системы (в частности, процессоров) между выполняемыми параллельными программами. Это делает оценки SPECrateint92 и SPECratefp92 особенно представительными для SMP-систем коллективного пользования, работающих в пакетном режиме.

Дата добавления: 2015-06-25