Ланцюги Маркова

Щоб дати визначення ланцюгів Маркова, необхідно ввести поняття стохастичного (імовірнісного) процесу на прикладі узагальненої схеми незалежних експериментів, яку вперше досліджував російський математик Марков.

Послідовність експериментів утворюють ланцюг Маркова, якщо умовна ймовірність того, що в експеримент відбудеться випадковий процес після того, як в кожному експерименті сталaся відома подія, залежить лише від того, якою ця подія відбудеться в експерименті і не залежить від додаткової інформації, які події відбувалися в більш ранніх експериментах.

У термінології, пов'язаної з дослідженнями стохастичних систем, визначення ланцюгів Маркова має наступну інтерпретацію:

Нехай досліджується система δ, яка в кожний момент часу може перебувати в одному із несумісних станів

І може змінювати цей стан в момент часу

Тоді для ланцюгів Маркова умовна ймовірність переходу системи в момент часу ,

де

в будь-який можливий стан ; залежить лише від того, в якому стані система перебувала в момент часу в межах

і не залежить від того, а яких станах система перебувала в більш ранні моменти часу.

Узагальнена імовірнісна схема всіх можливих переходів системи з одного стану в будь-яке інше задається матрицею π:

Де - ймовірність переходу системи зі стану в у момент часу за умови, що система має станів.

У разі, коли не залежить від часу , матриця π буде мати наступний вигляд:

Також ланцюги Маркова називають однорідними, а матриці (5) і (6) - матрицями однокрокового переходу

.

Дата добавления: 2014-01-04