Основные понятия марковских процессов

Как указывалось выше, одним из важнейших факторов, который должен учитываться в процессе принятия оптимальных решений, является фактор случайности. Следует отметить при этом, что упомянутый выше фактор неопределённости не адекватен фактору случайности, так как при учете случайности необходимо, чтобы случайные массовые явления обладали свойством статистической устойчивости. Это означает, что учитываемые случайные явления подчиняются определённым статистическим закономерностям, требования которых необязательны при учете неопределённости.

Условие статистической устойчивости позволяет использовать в процессе принятия решений эффективные математические методы теории случайных процессов и, в частности, одного из её разделов – теории марковских процессов.

Марковские случайные процессы названы по имени выдающегося русского математика А. А. Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать "динамикой вероятностей". В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория надежности, теория массового обслуживания и т. д. В настоящее время теория марковских процессов и её приложения широко используются в самых различных областях таких наук, как механика, физика, химия и т. д.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Марковские случайные процессы относятся к частным случаям случайных процессов (СП). В свою очередь случайные процессы основаны на принятии случайной функции (СФ).

Случайная функция – это функция, значение которой при любом значении аргумента является случайной величиной (СИ).

По иному, СФ можно назвать функцию, которая при каждом испытании принимает какой-либо заранее неизвестный вид.

Такими примерами СФ являются: колебания напряжения в электрической цепи, скорость движения автомобиля на участке и т. д.

Как правило, считают, что если аргументом СФ является время, то такой процесс называют случайным. Существует и другое, более близкое к теории принятия решений, определение СП.

Случайный процесс – процесс случайного изменения состояний какой-либо физической или технической системы по времени или какому-либо другому аргументу.

Не трудно заметить, что если обозначить состояние S_i и изобразить зависимость S_i(t), то такая зависимость и будет случайной функцией.

СП классифицируются по видам состояний S_i и аргумента t. При этом СП могут быть с дискретными или непрерывными состояниями или временем. Например, любой выборочный контроль продукции будет относиться к СП с дискретными состояниями (S₁ – годная, S₂ – негодная продукция) и дискретным временем (t₁, t₂ – времена проверки). С другой стороны, случай отказа любой машины можно отнести к СП с дискретными состояниями, но непрерывным временем. Проверки термометра через определённое время будут относиться к СП с непрерывным состоянием и дискретным временем.

Кроме указанных выше примеров классификации СП, существует ещё одно важное свойство. Это свойство описывает вероятностную связь между состояниями СП. Так, например, если в СП вероятность перехода системы в каждое последующее состояние зависит только от предыдущего состояния, то такой процесс называется процессом без последствий.

Случайный процесс, протекающий в системе, называется марковским, если в любой момент времени вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент и не зависят от того, когда и как система пришла в это состояние.

Большое значение имеют так называемые марковские процессы с дискретным состоянием и непрерывным временем. Это значит, что переход из одного состояния в другое происходит практически мгновенно, и моменты возможных переходов не фиксированы заранее.

Для описания таких процессов можно использовать граф переходов (граф состояний).

Продемонстрируем на примере.

Дата добавления: 2015-05-10