Означення марковського процесу з дискретними станами. Граф станів

Лекція № 11

Тема: Марківські процеси. Однорідні марківські ланцюги та їх класифікація. Стаціонарні ймовірності для регулярних ланцюгів Маркова. Елементи теорії масового обслуговування (теорія черг). Математична модель для найпростішої системи обслуговування.

Питання лекції:

1. Означення марковського процесу з дискретними станами. Граф станів.

2. Ланцюги Маркова та їх основні характеристики.

3. Класифікація станів і ланцюгів Маркова.

4. Властивості ланцюгів Маркова.

Серед випадкових процесів одним з найважливіших і добре вивчених є клас марковських процесів, або випадкових процесів без післядії, які застосовуються в різних розділах природознавства, техніки та економіко-математичного моделювання.

Надалі будемо розглядати тільки системи з дискретною множиною станів припускаючи при цьому, що в кожний фіксований момент часу система може перебувати тільки в одному зі своїх можливих станів. Зауважимо, що в загальному випадку число станів може бути як скінченним, так і нескінченним (але зліченним).

При вивченні випадкових процесів, які відбуваються в системах з дискретними станами, важливу роль відіграють ймовірності станів. Позначимо через стан системи в момент часу . Ймовірністю -го стану в момент називається ймовірність події, яка полягає в тому, що в момент система буде знаходитися в стані . Позначимо цю ймовірність через :

. (1)

Оскільки для будь-якого випадкові події , попарно несумісні та утворюють повну групу, то сума ймовірностей цих подій для кожного дорівнює одиниці:

. (2)

Означення. Випадковий процес, який відбувається в деякій системі з дискретними станами, називається марковським (або процесом без післядії), якщо він має таку властивість: для будь-якого моменту часу ймовірність будь-якого стану системи в майбутньому (при ) залежить від її стану в теперішньому (при ) і не залежить від того, як і скільки часу розвивався цей процес в минулому (при ).

Властивість відсутності післядії називають також властивістю відсутності пам’яті, а марковські процеси – процеси без пам’яті.

Граф станів. Марковські процеси з дискретними станами зручно ілюструвати за допомогою так званого графу станів (рис. 3), де прямокутниками позначені

стани системи, а стрілками – можливі переходи із стану в стан. На графі відзначаються тільки безпосередні переходи, а не переходи через інші стани. Іноді на графі відзначають не тільки можливі переходи із стану в стан, але і можливі затримки в попередньому стані; це зображається стрілкою («петлею»), направленою з даного стану в цей самий стан (рис. 1).

Отже, на рис. 3 зображений граф системи з шістьма станами, з можливими безпосередніми переходами , , , , , , , . Що стосується, наприклад, переходу зі стану в , то він можливий через стан і тому є опосередкованим; безпосередній ж перехід неможливий, оскільки на графі відсутня відповідна стрілка.

Дата добавления: 2014-01-04