Равенство Маркова

Пусть p_ij(n) – вероятность того, что в результате n шагов (испытаний) система перейдет из состояния i в состояние j. Например, p₂₅(10) – вероятность перехода за 10 шагов из второго состояния в пятое.

При n = 1 получаем переходные вероятности p_ij(1) = p_ij.

Поставим задачу: Зная переходные вероятности p_ij, найти вероятности p_ij(n) перехода системы из состояния i в состояние j за n шагов через промежуточное (между i и j) состояние r. То есть, будем считать, что из первоначального состояния i за m шагов система перейдет в промежуточное состояние r с вероятностью p_ir(m), после чего, за оставшиеся (n-m) шагов, она перейдет из состояния r в конечное состояние j с вероятностью p_rj(n-m).

По формуле полной вероятности имеем:

(1)

Эту формулу называют равенством Маркова.

Подставив в это равенство n = 2, m = 1, получаем:

(2)

По формуле (2) можно найти все вероятности p_ij(2), следовательно, и саму матрицу перехода P₂ из состояния в состояние за два шага.

Из формулы (2) вытекает соотношение в матричной форме:

Подставив в равенство Маркова n = 2, m = 1, получаем:

Таким образом, можно получить общую формулу:

Пример: Задана матрица перехода . Найти матрицу перехода

Решение: .

Дата добавления: 2014-12-27