Теорема 5.3

Следствие 5.2

Пусть и — независимые случайные величины. Тогда

i.

ii.

iii.

Доказательство. Для того, чтобы доказать утверждение i), повторим доказательство теоремы 5.1, используя равенство.

Утверждения ii) и iii) непосредственно следуют из i) и цепного правила.

Рассмотрим разность между количеством информации (см. 5.1), содержащейся в сообщении, и количеством информации, содержащейся в том же сообщении при заранее известном условии. Эту разность естественно считать количеством информации о том, что, содержащейся в сообщении. Обозначим это через. Тогда выполняется равенство

Заметим, что имеет место симметрия.

Взаимная информация случайных величин определяется как математическое ожидание величины, т.е.

Доказательство. Из равенства (5.8) следует, что

Остальные равенства следуют из теоремы 5.1.

Величину можно интерпретировать как среднее количество информации, которое дает об (или, наоборот, об).

Продублируем понятия собственной энтропии, условной энтропии, совместной энтропии и средней взаимной информации.

На рис. 2 условно показана собственная энтропия H(X) и H(Y), условные энтропии H(Y/X) и H(X/Y) и совместная энтропия H(X,Y).

H(X/Y)

H(Y)

H(X,Y)

H(X)

H(Y/X)

I(X,Y)

Рис. 2

Часть рисунка, отмеченная штриховкой, называется средней взаимной информацией I( X,Y ), содержащейся в ансамблях Х и Y. Она показывает, какое (в среднем) количество информации содержит сообщение X о сообщении Y (или наоборот, сообщение Y о сообщении X).

Как следует из рис. 2,

Если сообщения X и Y полностью независимы (рис. 3), то взаимная информация отсутствует и,

H(Y)

H(X,Y)

H(X)

Рис. 3

Если сообщения X и Y частично зависимы (рис. 2), то взаимная информация,

Если X и Y полностью зависимы (X и Y ‑ содержат одну и ту же информацию) и, то,

Если X является подмножеством Y (рис. 4), то.

H(Y)

H(X,Y)

H(X)

H(Y/X)

I(X,Y)

Рис. 4

Дата добавления: 2013-12-12