Система верификации софтверного инструментария

Одно из важнейших требований, предъявляемых к управленческим решениям, связанных с управлением комплексными организационно-экономическими и техническими объектами – точность, вытекающая из их высокой ответственности.

В свою очередь, эта точность сильно связана с затратами на подготовку решений.

Потери от ошибочных или недостаточно точных управленческих решений могут быть значительными, а порой и разорительными. Затраты на подготовку управленческих решений достаточно чувствительны к их точности.

Несмотря на ряд принципиальных отличий, присущих двум разновидностям формально-логических описаний (моделям и алгоритмам, аналитическим и имитационным моделям), они имеют факторно-откликовую природу, или, иными словами, устанавливают механизм связи экзогенных и эндогенных переменных, характер изменений выхода при варьировании входа.

Наиболее важное требование, предъявляемое к моделям, - приближенность к действительному объекту в следующих аспектах:

- с точки зрения корректности отслеживания связи «вход–выход», т.е. совпадения выходных характеристик объекта и модели при идентичных входных воздействиях. Близость в указанном смысле принято называть адекватностью;

- в отношении корректности декомпозиции модельного описания с точки зрения целей управления. Этот аспект определяет схему разбиения описания объекта на локальные модели типа «черного ящика», которые затем уже не декомпозируются, оставаясь элементами. Все элементы иерархического дерева моделей должны быть, естественно, адекватны соответствующим объектам-прототипам. Совпадение в указанных выше смыслах будем называть аутентичностью.

Если проблемы, связанные со вторым аспектом, решаются в основном сейчас на эвристическом уровне, то адекватность допускает совершенно строгий анализ.

Вопросы оценки адекватности традиционно считаются и являются актуальными, сложными и довольно далекими от разрешения.

Выделяются два способа оценки адекватности математических моделей и алгоритмов.

Первый – разовая процедура, представляющая собой оценку адекватности как сравнение близости временных рядов показателей состояния, наблюдаемых на реальном объекте и получаемых в ходе вычислительного эксперимента. Разовая процедура традиционно реализуется для нескольких вариантов исходных данных.

На рис. 2.7 приведена структурная схема оценки адекватности, где пунктиром обозначен фрагмент, адекватность которого (а не только модели или алгоритма) подлежит проверке.

Корректность вывода об адекватности или неадекватности зависит от того, насколько будут нейтрализованы или компенсированы погрешности оценки показателей состояния, исходных данных и оценки значимости рассогласований.

Первые три вида характеристик погрешностей влияют на выводы об адекватности в наибольшей степени, при этом проблема дополнительно усложняется тем, что характеристики перечисленных погрешностей неопределенны. При оценке адекватности стремятся проверить важность остальных видов погрешностей и упрощений.

В принципе возможна вариация предложенной процедуры, которая применяется хотя и реже, чем указанная, но тоже достаточно распространена при проведении научных исследований. Речь идет о важном классе проверочных экспериментов, в которых реальный объект заменяется сертифицированной, эталонной моделью. Как правило, такая «пробирная» модель является гораздо более подробной, чем проверяемая на адекватность, и применимой для более широкого множества допустимых вариантов. Преимущества рассматриваемого метода достаточно очевидны: уменьшение затрат, в том числе временных, на оценку адекватности за счет отказа от обследования реального объекта, более представительные испытания для несравненно более широкого спектра ситуаций. Недостатки также просматриваются довольно явственно: внесение дополнительных погрешностей, присущих «идеальной» модели, необходимость полномасштабного овладения теоретической основой такой модели и практическими навыками работы с ее программной реализацией.

Заметим, что процедуры анализа адекватности не зависят от характера модели или алгоритма, т.е. выходы моделей сопоставляются с откликами реального или замещаемого указанным способом объекта, они в этом смысле изоморфны.

Сформулируем строго задачу выявления адекватности модели произвольного вида реальному объекту – прототипу в вероятностном смысле ввиду стохастического в общем случае характера и модели, и объекта.

Рассматриваемая задача сводится к проверке статистической гипотезы о том, что выходы модели и реального объекта совпадают в статистическом смысле, т.е. получающееся различие между ними незначимо при одном и том же входном воздействии, для которого осуществлялась идентификация модели.

Будем искать способ проверки статистической гипотезы о том, что выходы модели и реального объекта совпадают в статистическом смысле, т.е. получающееся различие между ними незначимо при одном и том же входном воздействии, для которого осуществлялась идентификация модели. Как показано на рис. 2.8, подходя к проблеме абстрактно, следовало бы сопоставить Y^М и Y^O (т.е. замыкание на компаратор точек М₂ и О₂), практически же можно сравнивать лишь Y^HМ и Y^HO, причем на вход реального объекта подается X^H, а модели – X^B, идентификация на модели производится по множеству X^H, Y^HO. Указанное обстоятельство приводит к определенной дополнительной погрешности, которая отдельно практически ненаблюдаема и неисключаема.

Будем считать, что исследования проводятся на интервале tÎ [ T_beg,T_end ]. Так как процесс управления носит дискретный характер, то за этот интервал времени можно сопоставить лишь следующие выборки выходных процессов:

® ®

Y^HM_выб = {Y^HM₁,...,Y^HM_n } и Y^HO_выб = {Y^HO₁ ,...,Y^HO_m.}.

В общем случае n ¹ m.

Проверяем выполнение гипотезы:

® D ®

H₀ : Y^HM._выб ¹ Y^HО._выб

против конкурирующей альтернативы:

® D ®

H₁: Y^HM._выб = Y^HО._выб,

где:

Дата добавления: 2015-04-29