Марковские процессы с дискретными состояниями и дискретным временем перехода

Анализ марковских процессов.

Пусть, есть СМО с состояниями S₀ , S₁ , S₂ ,... S_n.

S₀ – в СМО нет заявок,

S₁ – в СМО находится одна заявка,

S₂ – в СМО находится 2 заявки,

и т.д.

Во времени СМО переходит из одного состояния в другое.

Типы марковских процессов:

а) с дискретным временем перехода (моменты перехода заранее четко определены)

б) с непрерывным временем перехода (переход не определен, случаен).

Отметим, что марковские процессы обладают свойством безпоследействия.

Пусть, система находится в состоянии S_i, где i = 1, 2,..., n.

Для задания марковского процесса необходимо определить матрицу вероятностей перехода из одного состояния в другое.

Пример матрицы переходов:

S₀ S₁

S₀ 0,3 0,7

S₁ 0,5 0,5

Для заданной матрицы граф переходов имеет вид:

Т.к. на каждом следующем шаге система переходит в другое состояние, поэтому

= 1

Пусть задан вектор вероятностей в первый момент времени:

.

Какова вероятность нахождения системы в состоянии i после первого перехода?

, i =1,2... n (4)

В векторном виде (4):

На k -ом шаге получим уравнение:

При устремлении k к бесконечности получим вектор предельных вероятностей:

Вектор предельных вероятностей находится из уравнения:

Дата добавления: 2014-01-05