Дискретные марковские случайные процессы с непрерывным временем

Марковскими процессами называют процессы без последействия, т.е. для любых двух непересекающихся участков число событий попадающих на один из них не зависит от того, сколько событий попало на другой.

Они названы по имени Маркова А.А., которые впервые изучил их (1856-1922 гг.).

Пусть имеется дискретный случайный процесс, протекающий в системе с возможными отклонениями х ₀, х ₁, …, х_i, …, х_j

Условная вероятность того, что t=t ₀ + t система будет находится в состоянии х _j, если в t ₀ она была в x_i равна p_ij (t ₀, t).

Дискретный случайный процесс Х (t) называется марковским если вероятность p_ij (t ₀ ,t) зависит только от i, j, t ₀, t, т.е. от того, в каком состоянии система находилась в момент времени t ₀, в каком состоянии система может перейти через t.

Все вероятностные характеристики Марковского процесса в будущем (при t>t ₀) зависят лишь от того, в каком состоянии этот процесс находится в данный момент времени t ₀, и не зависит от того, каким образом этот процесс протекал до момента t ₀ (в прошлом).

Различают два типа марковских процессов: с дискретным временем и с непрерывным временем.

Марковским процессом с дискретным временем называется процесс, у которого переходы из одного состояния в другое возможны строго определенные заранее моменты времени t ₁, t ₂ ,… t_n.

Однако такие процессы при анализе систем очень редко встречаются, и мы их рассматривать не будем.

Марковским случайным процессом с непрерывным временем называется процесс, у которого переход из одного состояния в другой возможен в любой момент времени t.

Приведем два утверждения:

- если все потоки событий, переводящие систему из состояния в состояние являются пуассоновскими, то случайный процесс, протекающий в системе будет называться марковским с непрерывным временем;

- если процесс, протекающий в системе, является марковским с непрерывным временем, то все потоки событий, переводящие систему из состояния в состояние, являются пуассоновскими.

Таким образом, марковские случайные процессы с непрерывным временем теснейшем образом связаны с пуассоновскими потоками события.

Для того чтобы описать марковский процесс с непрерывным временем необходимо знать следующие характеристики:

- перечень возможных состояний с указанием возможных непосредственных переходов из состояния в состояние;

- интенсивности всех потоков событий, под влиянием которых осуществляются все эти переходы;

- состояние системы в начальный момент времени (t= 0).

Таким образом, для исследования процесса необходимо:

- указать все состояния, в которых может находиться система;

- составить граф состояний, т.е. указать пути возможных непосредственных переходов системы из состояния в состояние;

- для каждого возможного перехода указать соответствующую интенсивность l _ij (t) потока событий, переводящих систему из состояния x_i в состояние x_j.

- указать, в каком состоянии находится система в начальный момент времени (при t =0)

Рассмотрение марковских случайных процессов, протекающих в системах со счетным множеством состояний, лучше начинать всегда с описания самих состояний и составления графа состояний, на котором у каждой стрелки проставляется интенсивность соответствующего потока событий (рис. 2.12).

Рис. 2.12

Системы, в которых протекают марковские случайные процессы с непрерывным временем, называются пуассоновскими.

Дата добавления: 2014-01-07