Взаимная энтропия. Свойства энтропии объединения

Энтропия объединения или взаимная энтропия используется для вычисления энтропии совместного появления статистически зависимых сообщений либо энтропии взаимосвязанных систем.

Например, при передаче по каналу связи с шумами цифры 5, из 100 раз цифра 5 была принята 90 раз, цифра 6 — восемь раз, цифра 4 — два раза. Неопределенность возникновения комбинаций вида 5—4; 5—5; 5—6 при передаче цифры 5 может быть описана при помощи энтропии объединения Н (А, В).

Понимание энтропии объединения (иногда употребляют термин «взаимная энтропия») облегчается, если расуждения сводятся к некоторому условному каналу связи. На примере передачи информации по каналу связи также удобнее проследить взаимосвязь понятий условной энтропии Н (В/А) и взаимной энтропии H(А, В).

Итак, пусть (а₁, а₂,..., а_i.... а_n) есть выборочное пространство А, или символы характеризующее источник сообщений, a (b_1, b₂, …, b_j,…,b_m) выборочное пространство В, или символы, характеризующее приемник сообщений. При этом а есть сигнал на входе шумящего капала, а b - сигнал на его выходе. Взаимосвязь переданных и принятых сигналов описывается вероятностями совместных событий вида p(a,b), а взаимосвязь выборочных пространств А и В описывается матрицей вида:

Если матрица описывает канал связи, то число строк матрицы равно числу столбцов m=n и пределы суммирования по i и по j одинаковы. При описании взаимодействия систем равенство m=n необязательно.

Независимо от равенства или неравенства числа строк числу столбцов матрица объединения обладает свойством:

В свою очередь,

т. е.

Это свойство позволяет вычислять энтропию источника и приемника сообщений непосредственно по матрице объединения:

До знака логарифма суммирование производится по i и j, так как для нахождения безусловных вероятностей необходимо производить суммирование по одной координате (имеется в виду матричное представление вероятностей), а для нахождения соответствующей энтропии суммирование производится по другой координате.

Условные вероятности 'при помощи матрицы объединения находятся следующим образом:

Энтропия объединения ансамблей А и В при помощи матрицы объединения вычисляется путем последовательного суммирования по строкам или gо столбцам всех вероятностей вида р(а, b), умноженных на логарифм этих же вероятностей

Размерность этой энтропии - «бит/два символа»

Размерность «бит/два символа» объясняется тем, что взаимная энтропии представляет собой неопределенность возникновения пары символов, т.е. неопределенность на два символа. В случае отсутствия зависимости между символами выражение для H(A,B) принимает вид выражения H(A) или H(B), и соответсвенно размерность будет «бит/символ».

Исследуем выражение для взаимной энтропии

Из теории вероятностей известно, что (смотрим на основные соотношения в начале лекции)

Используя это свойство, выражение для взаимной энтропии можно записать как

Но

и,

тогда первое слагаемое выражение принимает вид

Второе слагаемое, есть не что иное, как H(В/А), что позволяет выражение записать в виде

Энтропия объединения передаваемого ансамбля А и принимаемого ансамбля В равна сумме безусловной энтропии H(A) и условной энтропии Н (В/А).

Последняя в данном случае представляет ту добавочную информацию, которую дает сообщение В после того, как стала известна информация, содержащаяся в сообщении А. Таким образом, условная энтропия представляет собой неопределенность того, что при приеме b было послано а, а взаимная энтропия отражает неопределенность возникновения пары вида ab.

Энтропия объединения обладает свойством симметрии.

H(A,B)=H(B,A)

Свойство симметрии энтропии объединения хорошо иллюстрируется матрицей, изображенной на рисунке.

Действительно, если просуммировать все элементы матрицы объединения по строкам и но столбцам по схеме рисунка а затем сложить полученные результаты, то обе суммы будут равны единице. Свойство симметрии позволяет записать соотношения между условной энтропией и энтропией объединения следующим образом:

Если построена матрица вероятностей р(a,b), описывающая взаимосвязь двух произвольных выборочных пространств, в частности взаимосвязь входа и выхода шумящего канала связи, то остальные информационные характеристики могут не задаваться, так как матрица взаимной энтропии обладает информационной полнотой.

Взаимная информация между асамблем сообшений источника А и приемника В выражается формулами

При отсутствии статистической зависимости между элементами ансамблей А и В условные вероятности превращаются в безусловные

В этом случае

При полной статистической зависимости между элементами ансамблей А и В (например, когда результат одного события однозначно определяет информацию о другом событии)

Н(В/А) = Н (А/В) = 0,

а взаимная энтропия

В случае передачи информации по каналам связи полная статистическая зависимость между передаваемыми и принимаемыми сигналами говорит об отсутствии помех, канальная матрица приобретает вид

условные вероятности правильного приема равны единице, остальные - нулю, что превращает в нуль все частные условные энтропии.

аналогично

и, следовательно, и общая условная энтропия превращается в нуль и выражение для Н(А,В) приобретает вид

Выводы:

1. Энтропия объединенной системы А, В равна безусловной энтропии одной из них плюс условная энтропия второй относительно первой.

2. Матрица «объединения», описывающая взаимодействие систем или ансамблей сообщений при помощи вероятностей совместных событии, обладает свойством информационной полноты (а сумма ее элементов равна 1).

3. Взаимная энтропия ансамблей произвольных выборочных пространств обладает свойством взаимной симметрии.

4. В случае статистической независимости элементов ансамблей взаимная энтропия любого количества ансамблей ровна сумме их безусловных энтропий.

5. При полной статистической зависимости ансамбля источника сообщений и ансамбля приемника сообщений их взаимная энтропия равна безусловной энтропии источника сообщений.

Дата добавления: 2014-01-04