Розділ 3. Елементи теорії випадкових процесів

Марковський процес з дискретними станами – випадковий процес зі скінченною або зліченною множиною станів, для якого за будь-якого моменту часу ймовірність кожного стану в майбутньому залежить тільки від стану процесу в теперішньому і не залежить від його поведінки в минулому.

Ланцюг Маркова – Маяковський процес з дискретними станами та дискретним часом.

Ймовірність переходу ланцюга Маркова – умовна ймовірність того, що після деякого кроку система виявиться в даному стані за умови, що після попереднього кроку вона перебувала в деякому іншому стані.

Однорідний ланцюг Маркова – ланцюг Маркова, для якого перехідні ймовірності не залежить від номера кроку.

Стохастична матриця – квадратна матриця, всі елементи якої від’ємні і сума елементів будь-якого її рядка дорівнює одиниці.

Абсолютна ймовірність стану ланцюга Маркова – ймовірність того, що система після даного кроку до наступного буде перебувати в цьому стані.

Ймовірність першого досягнення стану ланцюгом Маркова – ймовірність того, що починаючи з деякого стану ланцюг Маркова вперше досягне даний стан після певного числа кроків.

Ймовірність повернення ланцюга Маркова в заданий стан – ймовірність того, що вийшовши із заданого стану на початковому кроці система коли-небудь повернеться в цей самий стан.

Зворотний стан ланцюга Маркова – стан, ймовірність повернення для якого дорівнює одиниці.

Незворотний стан ланцюга Маркова – стан, ймовірність повернення для якого менша від одиниці.

Поглинаюча множина станів ланцюга Маркова – підмножина множини всіх станів ланцюга, така, що кожний стан, який не входить у цю підмножину, є недосяжним з жодного стану, який належить цій підмножині.

Періодичний стан ланцюга Маркова – стан, коли система не може повернутися в нього за число кроків, яке відмінне від числа, кратного деякому цілому числу, більшого від одиниці.

Ергодичний стан ланцюга Маркова – стан, який є зворотнім і неперіодичним.

Незвідний ланцюг Маркова – Маяковський ланцюг, який не містить замкнених множин станів, відмінних від множин всіх його станів.

Ергодичний ланцюг Маркова – ланцюг Маркова, який є незвідним і всі йолго стани ергодичні.

Поглинаючий ланцюг Маркова – ланцюг Маркова, який складається з поглинаючих та незворотних станів.

Стаціонарний режим ланцюга Маркова – властивість ланцюга Маркова, коли ймовірність станів системи після великого числа кроків вже практично не залежать ні від номера кроку, на від початкового розподілу ймовірностей.

Дата добавления: 2015-05-10