Условная энтропия

Лекция 2

Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.

Для дальнейшего изложения нам понадобятся некоторые известные сведения из теории вероятности.

1) Свойства вероятностей для ансамбля случайных событий А и В:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B); P(B/A)=P(B)*P(A/B)/P(A);

Если А и В независимы, то

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

Еще раз определение энтропии по Шеннону для источника дискретных сообщений:

Ее свойства:

Н > 0;

Нmах = log N;

При независимых источниках H(A,B)=H(A)+H(B);

Дата добавления: 2014-01-04