Условная энтропия

Условная энтропия.

Лекция 2

Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.

Для дальнейшего изложения нам понадобятся некоторые известные сведения из теории вероятности.

1) Свойства вероятностей для ансамбля случайных событий А и В:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B); P(B/A)=P(B)*P(A/B)/P(A);

Если А и В независимы, то

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

Еще раз определение энтропии по Шеннону для источника дискретных сообщений:

Ее свойства:

Н > 0;

Нmах = log N;

При независимых источниках H(A,B)=H(A)+H(B);

Если состояния элементов системы не зависят друг от друга или если состояние одной системы не зависит от состояния другой системы, то неопределенность того, что некоторый элемент системы (или некоторая система) будет находиться в одном из возможных состояний, полностью определялась бы вероятностными характеристиками отдельных элементов системы. В этом случае удельное количество информации на состояние элемента системы или на один символ сообщений называется средней энтропией, а при ее вычислении используется выражение

При подсчете среднего количества информации на символ сообщения взаимозависимость учитывают через условные вероятности наступления одних событий относительно других, а полученную при этом энтропию называют условной энтропией.

Рассмотрим передачу сообщений источника случайных символов А через канал передачи информации. При это полагается, что при достоверной передаче при при передаче символа a₁ получаем b₁, a₂ - b₂ и т.д. При этом для канала с помехами передача искажается, и при получении сивола b₁ можно лишь сговорить о вероятности перередачи символа a₁. Вполне может быть, что были переданы символы a₂, a₃ и т.д.

Искажения описываются матрицей условных вероятностей канала P(A/B)={p(a_i/b_i}.

Рассмотрим процесс передачи сигналов по каналу связи с помехами и используем его для уяснения механизма вычисления условной энтропии.

Если источник сообщений выдает символы

a_l, а₂,..., a_i..., а_n

с вероятностями соответственно

р (а₁), р (а₂)......, р (а_i),..., р (а_n),

а на выходе канала передачи мы получаем символы

b₁,b₂,..., b_i..., b_n

с вероятностями соотетственно

р (b₁), р (b₂),..., р (b_i,..., р (b_n),

то понятие условной энтропии Н (B/a_i) выражает неопределенность того, что, отправив a_i, мы получим b_i., понятие H(A/b_i) неуверенность, которая остается после получения b_i в том, что было отправлено именно a_i. Графически это представлено на вышеприведеном рисунке. Если в канале связи присутствуют помехи, то с различной степенью вероятности может быть принят любой из сигналов b_j и, наоборот, принятый сигнал b_j может появиться и результате отправления любого из сигналов a_i. Если в канале связи помехи отсутствуют, то всегда посланному символу а₁ соответствует принятый символ b₁, а₂— b₂,..., а_n— b_n.

При этом энтропия источника сообщений H(А) равна энтропии приемника сообщений Н (В). Если в канале связи присутствуют помехи, то они уничтожают или искажают часть передаваемой информации.

Информационные потери полностью описываются через частную и общую условную энтропию. Вычисление частных и общей условной энтропии удобно производить при помощи канальных матриц. Термин «канальная матрица», означающий: матрица, статистически описывающая данный канал связи, применяется для краткости. Если канал связи описывается со стороны источника сообщений (т. е. известен посланный сигнал), то вероятность того, что при передаче сигнала a_i по каналу связи с помехами мы получим сигнал b_j обозначается как условная вероятность р (b_j/ai). а канальная матрица имеет вид

Вероятности, которые расположены по диагонали (выделенные полужирным шрифтом), определяют вероятности правильного приема, остальные — ложного. Значения цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех все, кроме цифр, расположенных на главной диагонали, равны нулю.

Прохождение символа a_i со стороны источника сообщений в данном канале связи описывается распределением условных вероятностей вида р(b_j/a_i), сумма вероятностей которого всегда должна быть равна единице. Например, для сигнала а₁

Потери информации, приходящиеся на долю сигнала a_i описываются при помощи частной условной энтропии. Например, для сигнала a₁

Суммирование производится по j, так как i -е состояние (в данном случае первое) остается постоянным.

Потери при передаче всех сигналов по данному каналу связи описываются при помощи общей условной энтропии. Дли ее вычисления следует просуммировать все частные условные энтропии, т. е. произвести двойное суммирование по i и по j.

В случае неравновероятного появления символов источника сообщений следует учесть вероятность появления каждого символа, умножив на нее соответствующую частную условную энтропию. При этом общая условная энтропия

Если иследовать ситуацию со стороны приемника сообщений (то есть когда известен принятый сигнал), то то с получением символа b_j предполагается, что был послан какойто из символов a₁, a₂, …, a_i,…,a_m. В этом случае канальная матрица имеет вид:

В этом случае единице должны равняться суммы условных вероятностей не по строкам, а по столбцам канальной матрицы

Частная условная энтропия

А общая условная энтропия

Общая условная энтропия системы В относительно системы А характеризует количество информации, содержащейся в любом символе источника сообщений, через который мы представляем состояния элементов исследуемых систем.

Общую условную энтропию определяют путем усреднения по всем символам, т. е. по всем состояниям а_i с учетом вероятности появления каждого из них. Она равна сумме произведений вероятностей появления символов источника на неопределенность, которая остается после того, как адресат принял символы:

Если в канале связи помехи отсутствуют, то все элементы канальной матрицы, кроме расположенных на главной диагонали, равны нулю. Это говорит о том, что при передаче сигнала а₁ мы наверняка получим b₁ при передаче а₂ -b₂,..., а_m— b_m. Вероятность получения правильного сигнала станет безусловной, а условная энтропия будет равна нулю.

Своего максимума условная энтропия достигает в случае, когда при передаче символа а_i может быть с равной вероятностью получен любой из сигналов b₁, b₂,..., b_m.

Дата добавления: 2013-12-11