Свойства взаимной информации

1. I(X,Y) = I(Y,X). Взаимная информация симметрична.
2. I(X,Y) ≥ 0. Взаимная информация всегда положительна.
3. I(X,Y) = 0 тогда и только тогда, когда ансамбли Х и Y независимы.
4. I(X,Y) = H(X) – H(Y/X) = H(Y) – H(X/Y) = H(X) + H(Y) – H(X,Y), т. е. в случае наступления совместного события H(X) + H(Y) = H(X,Y) взаимная информация отсутствует.
5. I(X,Y) ≤ min{H(X),H(Y)}. Взаимная информация не может быть больше информации о каждом ансамбле в отдельности.
6. I(X,Y) ≤ min{log|X|,log|Y|}. Логарифмическая мера каждого из ансамблей в отдельности больше или равна взаимной информации.
7. Взаимная информация I(X,Y) имеет максимум (является выпуклой функцией распределения вероятностей).

Користуючись поняттям умовної ентропії, можна отримати вираз для обчислення ентропії джерела з пам’яттю, яке має алфавіт. Якщо глибина пам’яті такого джерела дорівнює, а потужність алфавіту, то можна вважати, що перед генерацією чергового символу джерело знаходиться в одному з станів, де під станом розуміємо одну з можливих послідовностей попередніх символів довжиною на його виході.

Тоді частинна умовна ентропія при умові, що джерело перебуває в s -му стані

(1.25)

де – умовна ймовірність появи символу, якщо джерело перебуває в s -му стані.

Усереднюючи по усіх станах, отримаємо вираз для ентропії марковського джерела:

(1.26)

тут – ймовірність перебування джерела в s -му стані.

Якщо статистичні зв’язки мають місце лише між двома суміжними символами (тобто джерело має глибину пам’яті), стан джерела визначається тільки попереднім символом; в цьому разі ентропія джерела обчислюється за таким виразом:

.

(1.27)

Для джерела з глибиною пам’яті стан визначається парою символів, а ентропія:

(1.28)

Аналогічно можна отримати вирази для ентропії марковських джерел при більш глибоких статистичних зв’язках.

Дата добавления: 2013-12-12