Марковские процессы с дискретными состояниями и непрерывным временем перехода

Пусть, система имеет S_i (i=0,1,...n) состояний.

Моменты перехода - случайная величина, матрица интенсивностей перехода.

За время вероятность перехода равна.

Рассмотрим случай с двумя состояниями.

Составим конечно-разностное уравнение для определения .

Для первого состояния:

(5)

(6)

Из (5) получим:

(7)

Из (6) получим

(8)

Следует иметь в виду, что в любой момент :

Примем за начальное состояние системы , тогда решением дифференциального уравнения (7) будет:

(9)

(10)

Графически (9) и (10) представлен на рис. 2.

Рис.2. Решение системы уравнений марковского процесса.

При стремлении к бесконечности получим предельные вероятности:

Для определения и приравняем производные из системы к нулю:

Получим:

Рассмотрим общий строй для четырех состояний. Для простоты изображения размеченного графа будем опускать.

Рис.3. Размеченный граф.

Система дифференциальных уравнений для данного графа приведена ниже.

В общем виде, когда число состояний S_i (i=1,... n) система уравнений примет вид:

Эту систему уравнений по имени автора называют системой уравнений Колмогорова.

Для случая предельных вероятностей , получим:

,

для i=1,2,... n.

Дата добавления: 2014-01-05