Тактическое планирование машинных экспериментов с моделями систем

Тактическое планирование эксперимента с машинной моделью М_м системы S связано с вопросами эффективного использования выделенных для эксперимента машинных ресурсов и определением конкретных способов проведения испытаний модели М_м, намеченных планом эксперимента, построенным при стратегическом планировании. Проблемы тактического планирования машинного эксперимента следующие:

1) определение начальных условий и их влияния на достижение установившегося результата при моделировании;

2) обеспечение точности и достоверности результатов моделирования;

3) уменьшение дисперсии оценок характеристик процесса функционирования моделируемых систем;

4) выбор правил автоматической остановки имитационного эксперимента с моделями систем.

Проблема определения начальных условий их влияния на достижение установившегося результата при моделировании. Когда начинается очередной прогон модели процесса функционирования системы S, требуется определенное время для достижения условий равновесия, которые соответствуют условиям функционирования реальной системы. Таким образом, начальный период работы машинной модели М_м искажается из-за влияния начальных условий запуска модели. Для решения этой проблемы либо исключается из рассмотрения информация о модели М_м, полученная в начальной части периода моделирования (0, Т), либо начальные условия выбираются так, чтобы сократить время достижения установившегося режима. Все эти приемы позволяют только уменьшить, но не свести к нулю время переходного процесса при проведении машинного эксперимента с моделью М_м.

Проблема обеспечения точности и достоверности результатов моделирования. Решение второй проблемы тактического планирования машинного эксперимента связано с оценкой точности и достоверности результатов моделирования (при конкретном методе реализации модели, например, методе статистического моделирования на ЭВМ) при заданном числе реализации (объеме выборки) или с необходимостью оценки необходимого числа реализации при заданных точности и достоверности результатов моделирования системы S.

Обработка результатов статистического имитационного эксперимента принципиально не может дать точных значений показателя эффективности Е системы S; в лучшем случае можно получить только некоторую оценку такого показателя. Количество реализации N при статистическом моделировании системы S должно выбираться исходя из двух противоречивых требований: определения затрат ресурсов на машинный эксперимент с моделью М_м (включая построение модели и ее машинную реализацию) и оценки точности и достоверности результатов эксперимента с моделью системы S (при заданных ограничениях на ресурсы). Необходимо решить задачу нахождения разумного компромисса между ними.

Из-за наличия стохастичности и ограниченности числа реализаций N в общем случае ¹ Е. При этом величина e называется точностью (абсолютной) оценки. Вероятность того, что неравенство

| Е -|<e (6.98)

выполняется, называется достоверностью оценки

Q=P { |E- | <e}. (6.99)

Величина e₀ = e/ Е называется относительной точностью оценки, а достоверность оценки соответственно будет иметь вид:

Q =P{|(Е -)/ Е |<e₀}.

Рассмотрим взаимосвязь точности и достоверности результатов с количеством реализации при машинном эксперименте, когда в качестве показателей эффективности Е выступают вероятность р (I), математическое ожидание а (II) и дисперсия s² (III).

I. Пусть цель машинного эксперимента с моделью М_м некоторой системы S – получение оценки р вероятности появления р = Р (А) некоторого события А, определяемого состояниями процесса функционирования исследуемой системы S. В качестве оценки вероятности р в данном случае выступает частость = m/N, где т – число положительных исходов.

Тогда соотношение (6.99), связывающее точность и достоверность оценок с количеством реализации, будет иметь вид:

Р {| p – m/N|< e}= Q, P { p – e<m/N<p +e}= Q. (6.100)

Дляответа на вопрос о законе распределения величины p = m/N представим эту частость в виде = m/N = , так как количество наступлений события А в данной реализации из N реализаций является случайной величиной x, принимающей значения х ₁ = 1 с вероятностью р, и x ₂ = 0 с дополнительной вероятностью 1 – p. Математическое ожидание и дисперсия случайной величины x будут таковы:

M [x] = х ₁ p + x ₂(1 – p) = 1 р + 0(1 – р) = р;

D [x] = (х ₁ – M [x])² р + (x ₂ – M [x])²(1 – р) = (1 – p)² р + (0 – р)²(1 – р) = р (1 – р).

Тогда

M [] = М [ m/N ] = = M [x] = р.

Это соотношение говорит о несмещенности оценки для
вероятности р. С учетом независимости значений величин х_i получим

D [] = D [ m/N ] = = D [x] = .

В силу центральной предельной теоремы теории вероятностей (или ее частного случая – теоремы Лапласа) частость m/N при достаточно больших N можно рассматривать как случайную величину, описываемую нормальным законом распределения вероятностей с математическим ожиданием р и дисперсией p (1 – p)/ N. Поэтому соотношение (6.100) можно переписать так:

.

Учитывая, что Ф₀(- z)=1 – Ф₀(z), получим

,

где t _j – квантиль нормального распределения вероятностей порядка
j =(1+ Q)/2; находится из специальных таблиц.

В результате точность оценки вероятности р можно определить как

,

т.е. точность оценки вероятностей обратно пропорциональна .

Из соотношения для точности оценки e можно вычислить количество реализаций

N = , (6.101)

необходимое для получения оценки с точностью e и достоверностью Q.

Пример 6.5. Необходимо рассчитать количество реализаций N при статистическом моделировании системы S, когда в качестве показателя эффективности используется вероятность р при достоверности Q = 0,95
(t _j = 1,96) и точности e = 0,01; 0,02; 0,05. Так как значения р до проведения статистического моделирования системы S неизвестны, то вычислим множество оценок N для диапазона возможных значений р, т.е. от 0 до 1, с дискретом 0,1. Результаты расчетов с использованием выражения (6.101) представлены в табл. 6.10. Из таблицы видно, что при переходе от
p = 0,1 (0,9) к p = 0,5 количество реализации N возрастает примерно в три раза, а при переходе от e = 0,05 к e = 0,01 количество реализации N возрастает примерно в 25 раз.

Таблица 6.10

Вероятность p	Количество реализаций N
Точность e
0,05	0,02	0,01
0,1(0,9)
0,2(0,8)
0,3(0,7)
0,4(0,6)
0,5

При отсутствии возможности получения каких-либо априорных сведений о вероятности р использование понятия абсолютной точности теряет смысл. Действительно, можно, например, предварительно задать точность результатов моделирования e = 0,01, а искомая р в результате окажется хотя бы на порядок ниже, т.е. p £ 0,001. В таких случаях целесообразно задавать относительную точность результатов
моделирования e₀. Тогда соотношение (6.9) примет вид:

N = . (6.102)

Соотношение (6.8) наглядно иллюстрирует специфику статистического моделирования систем, выражающуюся в том, что для оценивания малых вероятностей р с высокой точностью необходимо очень большое число реализаций N. В практических случаях для оценивания вероятностей порядка 10^{- k} целесообразно количество реализаций выбирать равным 10 ^{k +1}. Очевидно, что даже для сравнительно простых систем метод статистического моделирования приводит к большим затратам машинного времени.

II. Другим распространенным случаем в практике машинных экспериментов с моделью М_м является необходимость оценки показателей эффективности Е системы S по результатам определения среднего значения некоторой случайной величины. Пусть случайная величина x имеет математическое ожидание а и дисперсию s². В реализации с номером i она принимает значение х_i. В качестве оценки математического ожидания a используется среднее арифметическое

.

В силу центральной предельной теоремы теории вероятностей при больших значениях N среднее арифметическое будет иметь распределение, близкое к нормальному с математическим ожиданием а и дисперсией s² /N. Для математического ожидания a точность оценки e = t _js/, а количество реализаций

N = или N = . (6.103)

III. Аналогично, если в качестве показателя эффективности Е системы S выступает дисперсия s², а в качестве ее оценки используется величина S ², то математическое ожидание и дисперсия соответственно будут

,

где m₄ - центральный момент четвертого порядка случайной величины. Для дисперсии s² точность оценки e = t _j. Отсюда количество реализации будет

. (6.104)

Для частного случая, когда случайная величина имеет нормальное распределение m₄ = 3s⁴, получим N = t ²_j2s⁴/e² = 2 t ²_j/e²₀.

Таким образом, на основании соотношений (6.101) – (6.104) можно сделать вывод, что количество реализаций при статистическом моделировании существенно зависит от дисперсии оцениваемой случайной величины. Поэтому выгодно выбирать такие оцениваемые показатели эффективности Е системы S, которые имеют малые дисперсии.

Проблема уменьшения дисперсии оценок характеристик процесса функционирования моделируемых систем. Проблема уменьшения дисперсии тесно связана с проблемой выбора количества реализаций при обеспечении необходимой точности и достоверности результатов машинного эксперимента. Существуют методы, позволяющие при заданном числе реализации увеличить точность оценок, полученных на машинной модели М_м, и, наоборот, при заданной точности оценок сократить необходимое число реализации при статистическом моделировании. Эти методы используют априорную информацию о структуре и поведении моделируемой системы S и называются методами уменьшения дисперсии.

Рассмотрим в качестве иллюстрации метод коррелированных реализаций (выборок), используемый в задачах сравнения двух или более альтернатив. При исследовании и проектировании системы S всегда происходит сравнение вариантов S_i, , отличающихся друг от друга структурой, алгоритмами поведения и параметрами.

Независимо от того, как организуется выбор наилучшего варианта системы S (простым перебором результатов моделирования системы S_i или с помощью автоматизированной процедуры поиска), элементарной операцией при этом является сравнение статистически усредненных критериев интерпретации.

Сравниваемые статистические показатели Е_i вариантов моделируемой системы S_i, , полученные на машинной модели М_м, можно записать в виде средних значений E_i=M [ q _i], , критериев q_i, характеризующих систему S, или в виде средних значений функции этих критериев f_j (q_i), , . Например, если

то показатели Е_i являются вероятностями нормальной работы системы S_i. Если

,

то показатель Е_i является дисперсией значения контролируемой величины и т.д. Здесь D q_i=|q_i – q _{и i}| отклонение значения контролируемой для системы S_i величины q_i от истинной q _{и i}.

Для сравнения характеристик, полученных на машинной модели М_м, рассмотрим два конкурирующих варианта моделируемой системы: S ₁ и S ₂. Существенной особенностью операции сравнения вариантов систем S ₁ и S ₂ является повышение требований к точности статистических оценок , , показателей Е ₁, Е ₂ при уменьшении разности D Е =| E ₁ – Е ₂|.

Рассмотрим наиболее характерные случаи, имеющие место при имитационных экспериментах, когда в качестве оценок выступают средние значения (I), вероятности (II) и дисперсии (III).

I. Если полученные в результате имитационного эксперимента с вариантами модели системы S ₁ и S ₂ оценки , средних значений критериев q ₁, q ₂, a ₁= M [ q ₁], a ₂= M [ q ₂] имеют дисперсии D [], D [] и коэффициент корреляции оценок , равен R [, ], то дисперсию погрешности оценки = – разности d = a ₁ – a ₂ можно найти из соотношения

, (6.105)

где s₁ = , s₂ = – средние квадратичные отклонения оценок.

При независимом моделировании вариантов системы с использованием различных реализаций псевдослучайных последовательностей коэффициент корреляции оценок R [, ] = 0 и D _и[] = D [] + D [].

При моделировании удается получить положительный коэффициент корреляции R [, ]>0, т.е. D []< D _и[], когда при имитационных экспериментах с вариантами системы S₁ и S₂ используются, например, одни и те же псевдослучайные последовательности.

II. Вероятности р ₁, р ₂ событий А ₁, А ₂, характеризующих сравниваемые варианты модели систем S ₁ и S ₂, можно представить как средние значения двоичных случайных величин q ₁, q ₂ c распределением вероятностей P { q ₁=1} = p ₁; P { q ₁=0} = 1 – p ₁; P { q ₂=1} = p ₂; P { q ₂=0} = l – p ₂.

Поэтому для оценки разности вероятностей D p = p ₁ – p ₂ = M [ q ₁] – M [ q ₂] можно использовать все выражения, полученные ранее при сравнении средних значений, видоизменив в них обозначения с учетом того, что двухмерное распределение вектора (q ₁, q ₂), описывающее зависимость между событиями А ₁, А ₂, имеет вид:

Р { q ₁=1, q ₂=1} = P (A ₁, A ₂) = p_A;

P { q ₁=0, q ₂=0} = P (Ø A ₁,Ø А ₂) = p_B;

P { q ₁=1, q ₂=0} = Р (А ₁,Ø А ₂) = p_C;

P { q ₁=0, q ₂=l} = P (Ø A ₁, A ₂) = p_D,

причем p_A+p_C = p ₁, p_B+p_D = p ₂. В частности, для повторной выборки объемом N получим, что оценка

D= –= (m ₁ – m ₂)/ N,

где т ₁, m ₂ – количество наступлений событий А ₁, А ₂, полученных при независимых прогонах модели. Учитывая, что между q ₁, q ₂ ковариация
B ₁₂ = p_A – р ₁ р ₂, найдем дисперсию оценки

D [D ] = (p_C+p_D – (p_C – p_D)²)/ N,

что следует из (6.11).

III. Рассмотрим случай, когда в качестве оценки вариантов систем S₁ и S ₂ выступает дисперсия. В этом случае оценка Dразности D D=D ₁ – D ₂ дисперсией критериев q ₁, q ₂ вычисляется по независимым реализациям вектора (q ₁, q ₂) с помощью формулы D= – , где
, – эмпирические дисперсии критериев q ₁, q ₂, рассчитываемые по формуле

.

Для оценки Dдисперсия

D [D]= D []+ D [] – 2 B [, ],

где дисперсии эмпирических дисперсий D [], D [] вычисляются по формуле

,

где m ₄ = M ₄[ q ] = M [(q – M [ q ])⁴] – центральный момент распределения четвертого порядка.

Ковариация B [,]» M [(q ₁ – M [ q ₁])²(q ₂ – M [ q ₂])²]/ N.

Таким образом, при таком подходе к уменьшению дисперсии задача состоит в специальном построении моделирующего алгоритма системы S, позволяющего получить положительную корреляцию, например, за счет управления генерацией случайных величин. Вопрос об эффективности использования метода уменьшения дисперсии может быть решен только с учетом необходимости дополнительных затрат машинных ресурсов (времени и памяти) на реализацию подхода.

Проблема выбора правил автоматической остановки имитационного эксперимента с моделями системы. Простейший способ решения проблемы выбора правил автоматической остановки имитационного эксперимента – задание требуемого количества реализации N (или длины интервала моделирования Т). Однако такой детерминированный подход неэффективен, так как в его основе лежат достаточно грубые предположения о распределении выходных переменных, которые на этапе тактического планирования являются неизвестными. Другой способ – задание доверительных интервалов для выходных переменных и остановка прогона машинной модели М_м при достижении заданного доверительного интервала, что позволяет теоретически приблизить время прогона к оптимальному.

Правила автоматической остановки могут быть включены в машинную модель такими способами:

1) путем двухэтапного проведения прогона, когда сначала делается пробный прогон из N* реализации, позволяющий оценить необходимое количество реализации N (причем, если N* ³ N, то прогон можно закончить, в противном случае необходимо набрать еще N – N* реализации);

2) путем использования последовательного анализа для определения минимально необходимого количества реализации N, которое рассматривается при этом как случайная величина, зависящая от результатов N – 1 предыдущих реализаций (наблюдений, испытаний) машинного эксперимента.

Рассмотрим особенности последовательного планирования машинных экспериментов, построенных на последовательном анализе. В последовательном анализе объем выборки не фиксирован, а после i- го наблюдения принимается одно из следующих решений: принять данную гипотезу, отвергнуть гипотезу, продолжить испытания, т.е. повторить наблюдения еще раз. Благодаря такому подходу можно объем выборки существенно уменьшить по сравнению со способами остановки, использующими фиксированный объем выборки. Таким образом, последовательное планирование машинного эксперимента позволяет минимизировать объем выборки в эксперименте, необходимой для получения требуемой при исследовании системы S информации. Построив критерий, можно на каждом шаге решать вопрос либо о принятии нулевой гипотезы Н ₀, либо о принятии альтернативной гипотезы Н ₁, либо о продолжении машинного эксперимента. Последовательное планирование машинного эксперимента использует принцип максимального правдоподобия и последовательные проверки статистических гипотез.

Пусть распределение генеральной совокупности характеризуется функцией плотности вероятностей с неизвестным параметром Y = f (y, q). Определяются нулевая и альтернативная гипотезы H ₀: q = q₀ и Н ₁: q = q₁. Гипотезы проверяют на основании выборки нарастающего объема т. Можно записать: вероятность получения данной выборки P _{0 m} = f (y ₁,q₀)… f (y_m, q₀) при условии, что верна гипотеза H ₀ (правдоподобная выборка); вероятность получения выборки P _{1 m} = f (y ₁,q₁)… f (y_m, q₁) при условии верности гипотезы H ₁. Процедура проверки строится на отношении правдоподобия Р _{1 m} / Р _{0 m}.

Последовательный критерий отношения вероятностей строится следующим образом. На каждом шаге машинного эксперимента определяются Р _{1 m} и Р _{0 m} , а также проверяется условие:

где 0< B <1, A >1, .

Для сходимости критерия необходимо, чтобы A £(1 – b)/a, B ³b/(1 – a), где a – вероятность ошибки первого рода; b – вероятность ошибки второго рода.

Данный метод позволяет уменьшить среднее число реализаций в машинных экспериментах по сравнению с использованием фиксированных объемов выборки (при одинаковых вероятностях ошибок). Примером применения метода может служить проверка гипотезы о среднем значении величины, распределенной по нормальному закону.

Пример 6.6. Пусть для случайной величины у известна дисперсия s² и неизвестно среднее m. При этом нулевая гипотеза Н ₀: m = q₀, альтернативная H ₁: m = q₁. Если Н ₀ верна, то вероятность ее отвергнуть равна a. Если верна гипотеза H ₁, то вероятность принять ее равна b. В случае q₀<m<q₁ ни одна из гипотез не принимается.

Для нормального распределения:

.

.

.

Критерий проверки гипотезы строится по следующему правилу:

если ln B = b << a = ln A,

то наблюдение продолжается.

Можно упростить процедуру, если использовать логарифмическую функцию правдоподобия. В этом случае

,

a = ln A = ln [(1 – b)/a],

b = ln B = ln [b/(1 – a)].

Тогда на каждом шаге т проверяется выполнение неравенств:

если

,

то принимается H ₀;

если

,

то принимается H ₁;

если

,

то машинный эксперимент продолжается.

Для математического ожидания числа наблюдений при условии верности H ₀ и H ₁ соответственно можно записать

M [ N / Н ₀] = , M [ N / Н ₁] =,

где N – число наблюдений; z = ln[ f (y, q₁ ) / f (y, q₀)] = – [(y – q ₁)²+(y – q₀)²]/(2s²).

Можно записать М [ z / H ₀] = (q₁ – q₀)²/(2s²) = M [ z / H ₁], так как М [ y ] = q₀ для гипотезы H ₀ и M [ y ] = q₁ для гипотезы H _1.

Тогда

M [ N / Н ₀] = – , M [ N / Н ₁] = .

Применение данного метода по сравнению с фиксированным объемом выборки N дает уменьшение числа реализации при статистическом моделировании болеечем в два раза.

Для проверки гипотезы о среднем для случайных величин с нормальным законом распределения, неизвестным средним m и неизвестной дисперсией s² можно использовать следующую процедуру. Проверяют гипотезы Н ₀: m < m₀ и Н ₁: m > m₀. Необходимо, чтобы вероятность отвергнуть Н ₀ при m £ m₀ была Р £ a и вероятность принять H ₀ при m > m₀ + D была Р £ b.

На первом шаге берут выборку размером т и вычисляют выборочную дисперсию

;

здесь число т выбрано таким, чтобы выполнялось условие

a (d)£1,25 log (1/d),

где a (d) = [(1/d)^{2/ f} – 1] ^{f /2}, d = min(a,b), f = m – 1.

Затем последовательно проводят по одному эксперименту. При выполнении условия

эксперимент прекращают и гипотезу H ₀ отвергают.

Гипотезу H ₁ принимают, если

,

где d = 3D/8.

Таким образом, чем сложнее машинная модель М_м, тем важнее этап тактического планирования машинного эксперимента, выполняемый непосредственно перед моделированием на ЭВМ системы S. Процесс планирования машинных экспериментов с моделью М_м итерационен, т.е. при уточнении некоторых свойств моделируемой системы S этапы стратегического и тактического планирования экспериментов могут чередоваться.

Дата добавления: 2014-01-04