Тема 2. Основные понятия теории Марковских процессов

Функция Х(t) называется случайной, если ее значение при любом аргументе t является случайной.

Случайная функция Х(t), аргументом которой является время, называется случайным процессом.

Марковские процессы являются частным видом случайных процессов. Особое место Марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для Марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи; с помощью Марковских процессов можно описать поведение достаточно сложных систем.

Определение. Случайный процесс, протекающий в какой либо системе S, называется Марковским, если он обладает следующим свойством: для любого момента времени вероятность любого состояния системы в будущем (при ) и не зависит от того, когда и каким образом система S пришла в это состояние.

Классификация Марковских процессов. Классификация Марковских случайных процессов производится в зависимости от непрерывности и дискретности множества значений функций Х(t) и параметра t. Различают следующие основные виды Марковских случайных процессов:

- с дискретными состояниями и дискретным временем (цепь Маркова);

- с непрерывными состояниями и дискретным временем (марковские последовательности);

- с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

- с непрерывным состоянием и непрерывным временем.

Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний, где кружками обозначены состояния S1,S2,….,Sn системы S, а стрелками- возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т.е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным).

Рисунок 1 - Граф состояния системы S.

Дата добавления: 2014-01-15