Цепи Маркова

Пусть задана некоторая система S.

Определение 1. Марковский случайный процесс с дискретными состояниями и дискретным временем называется марковской цепью (цепью Маркова).

Для такого процесса значения , , …, когда система S может менять своё состояние, рассматривают как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, выступает не время , а номер шага 1, 2, …, , …. Случайный процесс в этом случае характеризуется последовательностью состояний , , , …, , …, где – начальное состояние системы (перед первым шагом); – состояние системы после первого шага; – состояние системы после -го шага.

С другой стороны событие , состоящее в том, что сразу после -го шага система находится в состоянии (), является случайным событием. Последовательность состояний , , , …, , …, можно рассматривать как последовательность случайных событий.

Определение 2. Случайная последовательность событий , , , …, , … называется марковской цепью, если для каждого шага вероятность перехода из любого состояния в любое состояние не зависит от того, когда и как система S пришла в состояние . Начальное состояние может быть заданным заранее или случайным.

Определение 3. Вероятностями состояний цепи Маркова называются вероятности того, что после -го шага (и до -го) система S будет находиться в состоянии ().

Очевидно, для любого

. (4.1)

Определение 4. Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса:

, , …, , …, . (4.2)

В частном случае, если начальное состояние системы S в точности известно , то начальная вероятность , а все остальные равны нулю.

Определение 5. Вероятностью перехода (переходной вероятностью) на -м шаге из состояния в состояние называется условная вероятность того, что система S после -го шага окажется в состоянии при условии, что непосредственно перед этим (после -го шага) она находилась в состоянии .

Так как система может пребывать в одном из состояний, то для каждого момента времени (для каждого шага) необходимо задать вероятностей перехода , которые удобно представить в виде следующей матрицы:

, (4.3)

где , – вероятность перехода за один шаг (в момент времени ) из состояния в ; – вероятность задержки системы в состоянии в момент времени .

Определение 6. Матрица (4.3) называется переходной матрицей или матрицей переходных вероятностей.

Определение 7. Если переходные вероятности не зависят от номера шага (от времени), а зависят только от того, из какого состояния в какое осуществляется переход, то соответствующая цепь Маркова называется однородной.

Замечание. Элементы переходной матрицы однородной марковской цепи являются константами.

Дата добавления: 2014-01-14