Основные свойства энтропии

Энтропия Н - величина вещественная, неотрицательная и ограниченная, т.е. Н > 0 (это свойство следует из того, что такими же качествами обладают все ее слагаемые Pi log (1/Pi).

Энтропия равна нулю, если сообщение известно заранее (в этом случае каждый элемент сообщения замещается некоторым знаком с вероятностью, равной единице, а вероятности остальных знаков равны нулю).

Энтропия максимальна, если все знаки алфавита равновероятны, т.е. Нmах = log N.

Таким образом, степень неопределенности источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальна, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Ясно также, что весьма малое изменение вероятностей состояний вызывает соответственно незначительное изменение неопределенности выбора.

Особый интерес представляют бинарные источники, использующие алфавит из двух знаков: (0,1), При N = 2 сумма вероятностей знаков алфавита: P1+Р0 = 1. Можно положить P1 = Р, тогда Р0 = 1-Р.

Энтропию можно определить по формуле:

Энтропия бинарных сообщений достигает максимального значения, равного 1 биту, когда знаки алфавита сообщении равновероятны, т.е. при Р 0,5, и ее график симметричен относительно этого значения, (рис.3).

Рис. 1.3. График зависимости энтропии Н двоичных сообщений и ее составляющих: - (1 - Р) log (1 - Р) и - Р log P от Р.

Пример Заданы ансамбли X и Y двух дискретных величи

Таблица A

Таблица B.

Сравнить их энтропии.

Решение: Энтропия не зависит от конкретных значений случайной величины. Так как вероятности их появления в обоих случаях одинаковы, то

Н(Х) = H(Y) = ∑Pi*log(Pi)= - 4(0,251og0,25) = -4(l/41ogl/4) -= log 4=2 бит/c

Дата добавления: 2014-01-04