С. Г. Дробязко, В. С. Козлов 1 страница

Если входящий поток и все потоки обслуживания простей­шие, то процесс, протекающий в СМО, являетсямарковским случайным процессом (цепью) с дискретными состояниями и непрерывным временем. Поэтому СМО, в которой все потоки простейшие, называютмарковской СМО.

Системой массового обслуживания (СМО) называется любая система, предназначенная для обслуживания каких-либо заявок, поступающих в нее в случайные моменты време­ни. Устройство, непосредственно обслуживающее заявку, на­зываетсяканалом обслуживания. СМО может содержать одно такое устройство, тогда она называетсяодноканальной. Если СМО содержит несколько обслуживающих устройств, то она называетсямногоканальной.

Заявкой (требованием) назовем спрос на удовлетворение какой-либо потребности. Далее будем подразумевать, что все заявки однотипные. Удовлетворение спроса назовемоб­служиванием заявки.

Определение. Случайный процесс с дискретным временем называется марковским, если на любом шаге S вероятность P (S) перехода системы из состояния i, в состояние jзависитлишь от состояния А в которое попала система на (S—1) шаге, и не зависит от того, как и когда она в это состояние попала. Кратко это свойство формулируют так: при задан­ном настоящем будущее не зависит от прошлого. В силу это­го марковский процесс еще называют процессомбез после­действияили однородным.

Определение. Цепью Маркова называется последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий A_i из полной группы. При этом условная вероятность p_ij(s) того, что в s –ом испытании наступит событие A_j при условии, что в (s – 1) – ом испытании наступило событие A_i, не зависит от результатов предшествующих испытаний.

Независимые испытания являются частным случаем цепи Маркова. События называются состояниями системы, а испытания – изменениями состояний системы.

По характеру изменений состояний цепи Маркова можно разделить на две группы.

Определение. Цепью Маркова с дискретным временем называется цепь, изменение состояний которой происходит в определенные фиксированные моменты времени. Цепью Маркова с непрерывным временем называется цепь, изменение состояний которой возможно в любые случайные моменты времени.

8. Матрица переходов и граф состояний.

Определение. Однородной называется цепь Маркова, если условная вероятность p_ij перехода системы из состояния i в состояние j не зависит от номера испытания. Вероятность p_ij называется переходной вероятностью.

Пусть, число состояний конечно и равно k.

Тогда матрица, составленная из условных вероятностей перехода будет иметь вид:

Эта матрица называется матрицей перехода системы.

Т.к. в каждой строке содержаться вероятности событий, которые образуют полную группу, то сумма элементов каждой строки матрицы равна единице.

На основе матрицы перехода системы можно построить граф состояний системы,или размеченный граф состояний.

Пример. По заданной матрице перехода построить граф состояний.

Т.к. матрица четвертого порядка, то, соответственно, система имеет 4 возможных состояния.

S₁

0,2 0,7

S₂ 0,4 S₄

0,6 0,5

0,1 0,5

S₃

На графе не отмечаются вероятности перехода системы из одного состояния в то же самое.

Пусть P_ij(n) – вероятность того, что в результате n испытаний система перейдет из состояния i в состояние j, r – некоторое промежуточное состояние между состояниями i и j. Вероятности перехода из одного состояния в другое p_ij(1) = p_ij.

Тогда вероятность P_ij(n) может быть найдена по формуле, называемой равенством Маркова:

Здесь т – число шагов (испытаний), за которое система перешла из состояния i в состояние r.

Равенство Маркова можно трактовать как видоизмененную формулу полной вероятности.

Используя матрицу перехода Р₁, можно найти вероятности P_ij(2) перехода из состояния i в состояние j за два шага, т.е. матрицу Р₂:

так как при n=2 равенство Маркова – формула умножения матрицы P₁ на P₁, следовательно, можно получить:

Пример. Задана матрица переходов Р₁. Найти матрицу Р2.

Определение. Матрицы, суммы элементов всех строк которых равны единице, называются стохастическими.

Если при некотором п все элементы матрицы Р^п не равны нулю, то такая матрица переходов называется регулярной.

Регулярные матрицы переходов задают цепь Маркова, в которой каждое состояние может быть достигнуто через п шагов из любого состояния. Такие цепи Маркова также называются регулярными.

8. Предельные вероятности

Теорема. (теорема о предельных вероятностях) Пусть дана регулярная цепь Маркова с п состояниями и Р – ее матрица вероятностей перехода. Тогда существует предел и матрица Р^(¥) имеет вид:

Т.о. матрица Р^(¥) состоит из одинаковых строк. Числа u₁, u₂, …, u_n называются предельными вероятностями. Эти вероятности не зависят от исходного состояния системы и являются компонентами собственного вектора матрицы Р^Т (транспонированной к матрице Р).

Собственный вектор полностью определяется из условий:

Пример. Найдем предельные вероятности для рассмотренного выше примера.

C учетом того, что u₁ + u₂ = 1, получаем:

Итак:

Возможные состояния системы в момент t=m можно охарактеризовать векторами ^(m)=(q₁^(m), q₂^(m),..., q_k^(m)),

где q_i^(m) – это вероятность того, что в момент t=m система находится в состоянии А_i.

Используя формулу полной вероятности, нетрудно показать, что имеет место равенство:

^(m+1)= ^(m)×Р.

Применяя эту формулу последовательно при m=0, 1, 2,..., можно получить выражение для вектора ^(m) через вектор начальных состояний ⁽⁰⁾ и матрицу вероятностей переходов Р, а именно:

^{(m)= (0)×}Р^m.

Предельным распределением вероятностей цепи Маркова называется вектор q^p={q₁, q₂,..., q_k} такой, что

Стационарным распределением называется вектор q={q₁, q₂,..., q_k}, который удовлетворяет условиям:

Вектор определяет распределение вероятностей, которое с течением времени не меняется, т.е. стационарное распределение является также предельным распределением. В развернутом виде система для нахождения координат вектора , т.е. имеет следующий вид:

(*)

Первые n уравнений этой системы являются линейно зависимыми, поэтому любое одно из них можно отбросить. В результате получится система n линейных уравнений, которая почти всегда имеет единственное решение.

По теореме о предельных вероятностях регулярная цепь Маркова имеет предельное распределение вероятностей, которое может быть найдено из системы (*).

Задача 1. Задана матрица P₁ вероятностей перехода дис­кретной цепи Маркова из i-ro в j-oe состояние за один шаг (i, j = 1, 2). Распределение вероятностей по состояниям в началь­ный момент t = 0 определяется вектором .

Найти:

1) матрицу P₂ перехода цепи из состояния i в со­стояние j за два шага;

2) распределение вероятностей по состоя­ниям в момент t = 2;

3) вероятность того, что в момент t = 1 со­стоянием будет i = 2;

4) стационарное распределение.

Дано:

Решение: Для дискретной цепи Маркова в случае её однородности справедливо соотношение ,

где P₁ – матрица переходных вероятностей за один шаг

P_n – матрица переходных вероятностей за n шагов;

1) Найдем матрицу P₂ перехода за 2 шага.

Пусть распределение вероятностей по состояниям на S-ом шаге определяется вектором

Зная матрицу P_n перехода за n шагов можно определить распределение вероятностей по состоянием на (s+n)-ом шаге.

(4)

,

2) Найдем распределение вероятностей по состоянием системы в момент t=2. Положим (4) S=0 и n=2. Тогда .

Получим

3) Найдем распределение вероятностей по состояниям системы в момент t=1. Положим в (4) S(0) и n=1, тогда

Откуда видно, что вероятность того, что в момент t=1 состоянием цепи будет A₂, равна p₂(1)=0,87.

Распределением вероятностей по состояниям называется стационарным, если оно не меняется от шага к шагу, то есть

(5)

Тогда из соотношения (4) при n=1 получим или

4) Найдем стационарное распределение. Так как k=2 имеем . Запишем систему линейных уравнений (5) в координатной форме:

; ; ; ; .

Следовательно, .

Ответ:

1) матрица перехода за два шага для данной цепи Маркова имеет вид ;

2) распределение вероятностей по состояниям в момент t=2 равно ;

3) вероятность того, что в момент t=1 состоянием цепи будет A₂, равна p₂(1)=0,87;

4) Стационарное распределение имеет вид .

Задача 2. Ремонтная мастерская располагает двумя диагностическими приборами. Известно, что если в какой-то день оба прибора были незаняты, то на следующий день с вероятностью 0,6 они снова окажутся незанятыми и с одинаковыми вероятностями будет занят один или два прибора. Если был занят один прибор, то назавтра с вероятностью 0,2 оба будут свободны и с вероятностью 0,5 – оба заняты. Наконец, если оба прибора были заняты, то назавтра с вероятностью 0,6 оба опять будут заняты и с вероятностью, вдвое меньшей, будет занят только один прибор. Предполагая, что в начале недели (в понедельник) нет никакой информации о занятости приборов, найти вероятность того, что в среду оба прибора будут заняты. Кроме того, найти предельное распределение вероятностей.

Решение. Рассмотрим следующие состояния:

Е₀ – не занят ни один прибор;

Е₁ – занят один прибор;

Е₂ – заняты оба прибора.

Исходя из условия задачи матрица вероятностей переходов имеет вид:

Отсутствие информации в понедельник фактически означает, что вероятности начальных состояний одинаковые, т.е.:

=(1/3; 1/3; 1/3).

Вероятности состояний в среду определяются вектором q⁽²⁾.

Имеем:

Таким образом, вероятность занятости сразу двух приборов будет равна 136/300.

Предельные вероятности найдем как решение системы:

Решая эту систему методом Гаусса, найдем:

q₁=13/51;

q₂=14/51;

q₃=24/51.

10.Марковские цепи с конечным числом состоянии и непрерывным временем

Пусть физическая система, возможные состояния которой А₁, А₂,...., А_k может переходить из со­стояния в состояние не в определенные моменты времени, а в любой момент времени случайным образом. При этом воз­никает случайный процесс (цепь) с непрерывным временем.

Если процесс с непрерывным временем обладает отсутствием последействия, то его называют марковским случайным процессом с непрерыв­ным временем или непрерывной цепью Маркова.

Для непрерывной цепи Маркова. вероятность перехода из состояния А_i в состояние А_j в любой момент времени равна нулю. Поэтому вместо вероятности перехода Р_ij рассматривают плотность вероят­ности перехода l_ij которая определяется как предел отно­шения вероятности перехода Р_ij{Dt} за время Dt из состо­яния A_i в состояние A_j; к длине промежутка Dt при Dt 0, т. е.

l_ij = . (1)

Плотность вероятности l_ij может быть как постоянной величиной, так и величиной, зависящей от момента времени t, с которого начинается промежуток Dt.

Если плотность ве­роятности перехода l_ij не зависит от t, марковский процесс(цепь) называется однородным.

В дальнейшем будем пред­полагать, что рассматриваемые процессы удовлетворяют ус­ловию ординарности: в один и тот же момент времени t си­стема не может изменить свое состояние более чем один раз.

Из курса дифференциального исчисления известно, что соотношение (1) можно записать в виде Р_ij(Dt)=l_ijDt + a_ij(Dt), где a_ij(Dt)— бесконечно малая высшего порядка по сравнению с Dt. Тогда с точностью до бесконеч­но малой имеем:

P_ij(Dt) = l_ijDt, i j (2)

т. е. вероятность перехода Р_ij(Dt) за малое время D t равна произведению плотности вероятности перехода l_ij на Dt. По­этому l_ij еще называют интенсивностью перехода системы из А_i в Aj.

Из величин l_ij составим квадратную матрицу интенсивностей переходов:

L = (3)

обладающую свойствами:

1) l_ij 0, i j, это следует из (2), так как P_ij(Dt) 0;

2) l_ij 0, i=j, так как l_ii = (P_ii(Dt) – 1);

3) = 0 действительно, (l_i1 + l_i2 + … l_ii + … l_ik)Dt = P_i1(Dt) + P_i2(Dt) +…+(P_ii(Dt) – 1) + …+ P_ik(Dt)) = 0.

Интенсивности переходов l_ij удобно задавать на графе состояний. На графе указывают обычно интенсивности l_ij >0.

Зная матрицу интенсивностей переходов или размеченный граф состояний, можно определить вероятности состояний:

p₁ (t), p₂ (t), …, p_k(t), = 1, (4)

т. е. вероятности нахождения системы в состоянии А₁, А₂, …, А_k в момент времени t. Вероятности p_i(t) как функции t удовлетворяют системе дифференциальных уравнении Колмо­горова, которая в матричной форме имеет вид

p^’(t) = p(t) L (5)

где p^’(t) = (p₁^’(t), p₂^’(t),…, p_k^’(t)); p(t) = (p₁(t), p₂(t),…, p_k(t)), L —

матрица интенсивностей переходов (З).

Распределение вероятностей состояний системы называется стационарным, если оно не меняется с течением времени, т. е. если

p(t) = p, (6)

где p = (p₁, p₂, …, p_k) = const, j = 1, 2,..., k. Дифференцируя равенство (6) по t, получим: p^’(t) = 0.

С учетом уравнения (5) приходим к выводу, что стационар­ное распределение удовлетворяет соотно­шению

p L = 0, (7)

т. е. для получения стационарного распределения достаточно в системе дифференциальных уравнений Колмогорова поло­жить p^'_j =0; j =1, 2,.., k.

Уравнения системы (7) не в матричной форме удобно вы­писывать непосредственно по размеченному графику состоя­ний в соответствии со следующим правилом:

сумма произведений l_jip_i, j i для стрелок, выходящих из i-го состояния, рав­на сумме произведений l_ijp_j, j i д ля стрелок, входящих в i - е состояние.

Задача 2. Задана матрица

интенсивностей переходов непрерывной цепи Маркова. Со­ставить размеченный граф состояний, соответствующий мат­рице L; выписать систему дифференциальных уравнений Колмогорова для вероятностей состояний; найти стационар­ное распределение вероятностей.

Решение. Размеченный граф должен иметь 3 состояния А₁, А₂, А₃. Из матрицы L находим интенсивности переходов l_ij>0, i j и отмечаем их над соответствующими стрелка­ми (рис. 2). Имеем l₁₂=5, соединяем состояния А₁ и А₂ стрел­кой, направленной от А₁ к А₂, отмечая интенсивность перехода над стрелкой; l₁₃=0, следовательно, состояния А₁ и А₃ стрелкой не соединяем и т. д. Составляем

уравнения Колмогорова: положим в уравнении (5); p(t) = (p₁(t), p₂(t), p₃(t)); p^’(t) = (p₁^’(t), p₂^’(t), p₃^’(t)),

тогда

(p₁^’(t), p₂^’(t), p₃^’(t)) = (p₁(t), p₂(t), p₃(t))

умножая вектор p(t) на матрицу L будем иметь:

p₁^’(t) = - 5 p₁(t) + p₂(t) + p₃(t);

p₂^’(t) = 5p₁(t) - p₂(t) + p₃(t);

p₃^’(t) = -2 p₃(t).

Для нахождения стационарного распределения достаточ­но в последней дифференциальной системе положить все производные p_i^’(t) = 0, i = 1, 2, 3. Пусть p = (p₁, p₂, p₃)есть стационарное распределение, тогда:

0 = - 5 p₁ + p₂ + p₃;

0 = 5p₁ - p₂ + p₃; (8)

0 = -2 p₃.

Решая систему, получим p₃ = 0, p₂= 5p₁. В силу уравнения (4) p₁ + p₂ + p₃ = 1,следовательно, p = (1/6; 5/6; 0).

Заметим, что для определения стационарного распределе­ния мы получили бы такую же систему, если бы воспользо­вались правилом, приведенным выше. Действительно, для состояния А₁ имеем 5 p_{1 =} 1 p₂ + 1 p₃, для состояния А₂: 1 p₂ = 5p₁ + 1 p₃, для состояния A₃: 1 p₃ + 1p₃ = 0. Составляя из этих уравнений систему, убедимся, что она эквивалентна си­стеме(8).

Для многих практических случаев важно знать, как ведут себя вероятности p_i(t}, i=l, 2,..., k при большом времени работы системы, т. е. при t . Если при определенных ус­ловиях существуют предельные вероятности состояний

p_i = p_i(t), i = 1, 2, …, k, (9)

не зависящие от того, в каком состоянии система находилась в начальный момент, то это означает, что с течением времени в системе устанавливается предельный стационарный режим.

Система, для которой существуют предельные вероятно­сти, называется эргодической, а возникающий в ней случай­ный процесс эргодическим.

Выясним условия, при которых существуют предельные вероятности состояний. Введем ряд понятий.

Состояние А_i называется несущественным, если найдется такое состояние А_j что из A_i в А_j, перейти можно, а из Aj в A_i — нельзя. Состояние A_i называется существенным, если оно не является несущественным. Например, для систе­мы, граф состояний которой дан на рис. 2, состояние А₃ не­существенно (так как из него можно перейти в состояние А₁или А₂ но обратно вернуться нельзя), состояния А₁ и A₂ — существенны. Два существенных состояния A_i и A_j назы­ваются сообщающимися, если из A_i можно попасть в A_j и из A_j в A_i. На рис. 2 представлены сообщающиеся состоя­ния A₁ и А₂.

Теорема 1. Если A_i — несущественное состояние, то

p_i(t) = 0. (10)

Смысл этой теоремы состоит в том, что в конечном итоге система выйдет из несущественного состояния A_i и больше в него не вернется.

Теорема 2. Чтобы цепь (процесс) с конечным числом состояний имела единственное стационарное распределение вероятностей, совпадающее с предельным, необходимо и до­статочно, чтобы все ее существенные состояния сообщались между собой.

Пример. В условиях задачи 2 найти предельные веро­ятности состояний.

Решение. В рассматриваемой цепи состояния A₁ и A₂ являются существенными сообщающимися состояниями, A₃ — несущественно. Следовательно, по теореме 2 предель­ное распределение совпадает со стационарным и имеет вид p = (1/6; 5/6; 0). Заметим, что результат p₃(t) = 0 можно было получить непосредственно из теоремы 1, так как состояние A₃ несущественно.

Дата добавления: 2014-11-16