Взаимная энтропия

Взаимная энтропия или энтропия объединения предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H (AB), где A характеризует передатчик, а B в приёмник.

Взаимосвязь переданных и полученных сигналов описывается вероятностями совместных событий p (a_ib_j), и для полного описания характеристик канала требуется только одна матрица:

p (a 1 b 1)	p (a 1 b 2)	в	p (a 1 bj)	в	p (a 1 bm)
p (a 2 b 1)	p (a 2 b 2)	в	p (a 2 bj)	в	p (a 2 bm)
в	в	в	в	в	в
p (aib 1)	p (aib 2)	в	p (aibj)	в	p (aibm)
в	в	в	в	в	в
p (amb 1)	p (amb 2)	в	p (ambj)	в	p (ambm)

Для более общего случая, когда описывается не канал, а в целом взаимодействующие системы, матрица необязательно должна быть квадратной. Очевидно, сумма всех элементов столбца с номером j даёт p (b_j), сумма строки с номером i есть p (a_i), а сумма всех элементов матрицы равна 1. Совместная вероятность p (a_ib_j) событий a_i и b_j вычисляется как произведение исходной и условной вероятности:

Условные вероятности производятся по формуле Байеса. Таким образом, имеются все данные для вычисления энтропий источника и приёмника:

Взаимная энтропия вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм:

H (AB) = в	∑	∑	p (aibj)log p (aibj).
	i	j

Единица измерения в бит/два символа, это объясняется тем, что взаимная энтропия описывает неопределённость на пару символов: отправленного и полученного. Путём несложных преобразований также получаем

Взаимная энтропия обладает свойством информационной полноты в из неё можно получить все рассматриваемые величины.

Дата добавления: 2015-07-02