Использование анализа чувствительности для

определения важных параметров модели [5]

Анализ чувствительности – это метод определения параметров модели,

оказывающих наибольшее влияние на критерий оценки работы. Если определенный

параметр оказывается важным, то его следует более тщательно рассматривать. С

помощью анализа чувствительности можно рассматривать следующее:

− Значение параметра (см. пример 5)

− Выбор распределения вероятностей (закона распределения).

− Объекты, проходящие через моделируемую систему.

− Уровень детализации подсистем.

Пример 5. При исследовании новой системы после разговора с экспертами значение

вероятности было принято равным 0,75. Важность «абсолютно» точного значения

этой вероятности можно определить прогоном этой имитационной системы с

параметром 0,75 и, например, с 0,7 и 0,8. Если результаты этих прогонов будут

примерно одинаковы, то выходные данные не чувствительны к выбору значения

вероятности в диапазоне от 0,7 до 0,8. Иначе необходимо более точное значение

вероятности. (Собственно говоря, для определения влияния значения вероятности на

результаты моделирования, необходимо выполнить несколько независимых

репликаций модели с различными случайными значениями данной вероятности.)

При определении чувствительности результатов моделирования к изменениям двух

или более параметров в общем случае нельзя один параметр, при этом беря произвольные

значения других параметров. (Такой опасный подход называется подходом

однофакторного эксперимента.) Правильнее использовать статистическое

экспериментальное проектирование. Формально можно оценить влияние каждого

параметра. Если количество параметров не очень большое, то также можно оценить и

взаимосвязь этих параметров.

5.4.8. Валидация результатов общей имитационной модели [5]

Наиболее точный тест валидности имитационной модели это оценка того, какие

выходные данные имеют большое сходство с выходными данными реальной системы.

Если система схожа с предполагаемой существующей, то имитационная модель

существующей системы разработана и ее выходные данные сравнимы с выходными

данными реальной системы. Если эти 2 набора данных не сильно различаются, то модель

реальной системы считается «валидной». (Требуемая точность модели зависит от

предполагаемого использования и функций лица, принимающего решения.) Затем модель

модифицируется так, что она представляет рассматриваемую систему. Чем больше общего

между моделью и реальной системой, тем больше уверенности в модели рассматриваемой

системы. Не существует универсального (полностью определенного) подхода к валидации

модели рассматриваемой системы. Если бы такой поход существовал, то не было бы

необходимости в имитационной модели. Если вышеописанное сравнение успешно, то к

тому же обеспечивается надежность использования имитационной системы. (Как

говорилось выше, идея сравнения выходных данных модели и системы называется

валидацией результатов.)

Пример 7. Для увеличения производительной мощности производитель продукции

из огнеупорного алюминия хотел поменять используемую печь периодического

действия на новую печь непрерывного действия. При моделировании существующей

системы было обнаружено, что производительность модели отличается от реальной

производительности менее чем на 1%. Таким образом, получилось, что модель

существующей системы была обоснованно «валидна».

Для сравнения выходных данных имитационной модели и реальной системы в

литературе по валидации предлагается несколько статистических тестов (t, тест Манна-

Витнея и т.д.). Тем не менее, так как выходные данные (процессы) практически всех

реальных и имитационных систем являются нестационарными (распределение успешных

наблюдений постоянно меняется) и автокореллированными (все наблюдения связаны друг

с другом), то такое сравнение не является простой задачей, как это может показаться на

первый взгляд. Таким образом, невозможно применять напрямую классические

статистические тесты, основанные на независимых, одинаково распределенных

наблюдениях. Более того, возникает вопрос, являются ли критерии проверки гипотез

более подходящими по сравнению с построением доверительных интервалов. Так как

модель является лишь аппроксимацией реальной системы, то нулевая гипотеза о том, что

модель и система «идентичны» ложна. Лучше спрашивать, является ли разница между

моделью и системой достаточной для того, чтобы на основании этой модели можно было

сделать какие-либо выводы.

Для сравнения выходных данных модели и системы, кроме статистических

процедур, можно использовать тест Тьюринга [9]. Людей, хорошо знающих систему,

(например, экспертов) просят проанализировать наборы данных системы и модели. При

этом, они не знают какие данные были получена на основе модели, а какие из самой

системы. В случае, если эксперты находят различия между этими наборами данных, то

для улучшения модели используется их объяснения.

Пример 8. При валидации имитационной модели потока машин на автостраде

использовался анимированный тест Тьюринга. Анимация пассажиропотока

имитационной модели отображалась на большой монитор параллельно с

изображением реальной ситуации. Данные с автострады были получены с помощью

видеокамеры, установленной на самолете.

Независимо от того, существует ли реальная система, аналитики и эксперты должны

проверить выходные данные имитационной системы (численные результаты, анимацию и

т.д.) на корректность. (Так как желаемые выходные данные точно неизвестны (иначе бы

не было бы необходимости в создании модели), то такая проверка должна проводиться

очень тщательно.) Если результаты имитационного моделирования не противоречат

работе системы, то__________, как говорилось выше, говорят, что модель имеет экспертную (или

face) валидность.

Пример 9. Описанная выше идея была удачно применена при разработке

имитационной модели системы кадров ВВС США. (Эта модель была разработана для

того, чтобы обеспечить экономических аналитиков информацией в масштабе все

системы о влиянии различных кадровых политик.) Результаты работы модели с

основной кадровой политикой были предоставлены аналитикам ВВС США и лицам,

принимающим решения. После чего они нашли некоторые различия между моделью

и реальным поведением системы. Эти данные были использованы для

усовершенствования модели. После нескольких дополнительных оценок и

усовершенствования была получена модель, довольно точно аппроксимирующая

используемую кадровую политику ВВС США. Благодаря этому была увеличена не

только валидность модели, но и ее надежность.

Дата добавления: 2014-12-24