Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Равенство Маркова

Обозначим через вероятность того, что в результате n шагов (испытаний) система перейдет из состояния в состояние . Например, - вероятность перехода за 10 шагов из третьего состояния в шестое. Отметим, что при n = 1 эта вероятность сводится просто к переходной вероятности .

Возникает вопрос, как, зная переходные вероятности , найти вероятности перехода состояния в состояние за n шагов. С этой целью вводится в рассмотрение промежуточное (между и ) состояние r. Другими словами, полагают, что из первоначального состояния за m шагов система перейдет в промежуточное состояние r с вероятностью , после чего за оставшиеся n – m шагов из промежуточного состояния r она перейдет в конечное состояние с вероятностью . Используя формулу полной вероятности, можно показать, что справедлива формула

Эту формулу называют равенством Маркова.

Зная все переходные вероятности , т.е. зная матрицу перехода из состояния в состояние за один шаг, можно найти вероятности перехода из состояние в состояние за два шага, а значит, и саму матрицу перехода , далее – по известной матрице - найти и т.д.

Действительно, полагая в равенстве Маркова n = 2, m = 1 получим

или . В матричном виде это можно записать как .

Полагая n=3, m =2, получим . В общем случае справедливо соотношение .

Пример. Пусть матрица перехода равна

Требуется найти матрицу перехода.

Умножая матрицу саму на себя, получим.

Для практических применений чрезвычайно важным является вопрос о расчете вероятности нахождения системы в том или ином состоянии в конкретный момент времени. Решение этого вопроса требует знания начальных условий, т.е. вероятностей нахождения системы в определенных состояниях в начальный момент времени. Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса.

Здесь через обозначена вероятность нахождения системы в состоянии в начальный момент времени. В частном случае, если начальное состояние системы в точности известно (например ), то начальная вероятность , а все остальные равны нулю.

Если для однородной цепи Маркова заданы начальное распределение вероятностей и матрица перехода, то вероятности состояний системы на n-м шаге вычисляются по рекуррентной формуле

.

Для иллюстрации приведем простой пример. Рассмотрим процесс функционирования некоторой системы (например, прибора). Пусть прибор в течение одних суток может находиться в одном из двух состояний – исправном () и неисправном (). В результате массовых наблюдений за работой прибора составлена следующая матрица перехода ,

где - вероятность того, что прибор останется в исправном состоянии;

- вероятность перехода прибора из исправного в неисправное состояние;

- вероятность перехода прибора из неисправного в исправное состояние;

- вероятность того, что прибор останется в состоянии "неисправен".

Пусть вектор начальных вероятностей состояний прибора задан соотношением

, т.е. (в начальный момент прибор был неисправен). Требуется определить вероятности состояния прибора через трое суток.

Решение: Используя матрицу перехода, определим вероятности состояний после первого шага (после первых суток):

.

Вероятности состояний после второго шага (вторых суток) равны

Наконец, вероятности состояний после третьего шага (третьих суток) равны

.

Таким образом, вероятность того, что прибор будет находиться в исправном состоянии равна 0,819, и того, что в неисправном – соответственно 0,181.

 

<== предыдущая лекция | следующая лекция ==>
Переходные вероятности. Матрица перехода | Понятие о системах массового обслуживания
Поделиться с друзьями:


Дата добавления: 2014-01-06; Просмотров: 1168; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.011 сек.