Энтропия сложных сообщений, избыточность источника

Рассмотренные выше характеристики источника - количество информации и энтропия - относились к одному источнику, вырабатывающему поток независимых или простых сообщений, или к источнику без памяти.

Однако в реальных условиях независимость элементарных сообщений, вырабатываемых источником, - явление довольно редкое. Чаще бывает как раз обратное - сильная детерминированная или статистическая связь между элементами сообщения одного или нескольких источников.

Например, при передаче текста вероятности появления отдельных букв зависят от того, какие буквы им предшествовали. Для русского текста, например, если передана буква " П ", вероятность того, что следующей будет " А ", гораздо выше, чем " Н ", после буквы " Ъ " никогда не встречается " H " и т.д. Подобная же картина наблюдается при передаче изображений - соседние элементы изображения имеют обычно почти одинаковые яркость и цвет.

При передаче и хранении данных часто также имеют дело с несколькими источниками, формирующими статистически связанные друг с другом сообщения. Сообщения, вырабатываемые такими источниками, называются сложными сообщениями, а сами источники - источниками с памятью.

Очевидно, что при определении энтропии и количества информации в сообщениях, элементы которых статистически связаны, нельзя ограничиваться только безусловными вероятностями - необходимо обязательно учитывать также условные вероятности появления отдельных сообщений.

Определим энтропию сложного сообщения, вырабатываемого двумя зависимыми источниками (подобным же образом определяется энтропия сложного сообщения, вырабатываемого одним источником с памятью).

Пусть сообщения первого источника принимают значения x₁, x₂, x₃,....x_k с вероятностями, соответственно, P(x₁ ), P(x₂ ),..... P(x_k ), сообщения второго - y₁, y₂,.....y_m с вероятностями P(y₁ ), P(y₂ ),..... P(y_m ).

Совместную энтропию двух источников X и Y можно определить следующим образом:

, (1.39)

где P(x_i,y_j) - вероятность совместного появления сообщений x_i и y_j. Поскольку совместная вероятность P(x_i,y_j) по формуле Байеса определяется как

, (1.40)

то выражение для совместной энтропии можно записать в следующем виде:

(1.41)

Так как передаче сообщения x_i обязательно соответствует передача одного из сообщений (любого) из ансамбля Y, то

(1.42)

и совместная энтропия H(X,Y) определится как

, (1.43)

где H (Y/x_i ) - так называемая частная условная энтропия, отражающая энтропию сообщения Y при условии, что имело место сообщение x_i. Второе слагаемое в последнем выражении представляет собой усреднение H (Y/x_i) по всем сообщениям x_i и называется средней условной энтропией источника Y при условии передачи сообщения X. И окончательно:

H (X,Y) = H (X) + H (Y/X). (1.44)

Таким образом, совместная энтропия двух сообщений равна сумме безусловной энтропии одного из них и условной энтропии второго.

Можно отметить следующие основные свойства энтропии сложных сообщений:

1. При статистически независимых сообщениях X и Y совместная энтропия равна сумме энтропий каждого из источников:

H (X,Y) = H (X) + H (Y), (1.45)

так как H (Y/X) = H (Y).

2. При полной статистической зависимости сообщений X и Y совместная энтропия равна безусловной энтропии одного из сообщений. Второе сообщение при этом информации не добавляет. Действительно, при полной статистической зависимости сообщений условные вероятности P(y_j/x_i) и P(x_i/y j) равны или нулю, или 1, тогда

P(x_i /y_j )*log P(x_i /y_j) = P(y_j /x_i)*log P(y_j /x_i) = 0 (1.46)

и, следовательно, H (X,Y) = H (X) = H (Y).

3. Условная энтропия изменяется в пределах

0 < H (Y /X) < H (Y). (1.47)

4. Для совместной энтропии двух источников всегда справедливо соотношение

H (X,Y) ≤ H (X) + H (Y), (1.48)

при этом условие равенства выполняется только для независимых источников сообщений.

Следовательно, при наличии связи между элементарными сообщениями энтропия источника снижается, причем в тем большей степени, чем сильнее связь между элементами сообщения.

Таким образом, можно сделать следующие выводы относительно степени информативности источников сообщений:

1. Энтропия источника и количество информации тем больше, чем больше размер алфавита источника.

2. Энтропия источника зависит от статистических свойств сообщений. Энтропия максимальна, если сообщения источника равновероятны и статистически независимы.

3. Энтропия источника, вырабатывающего неравновероятные сообщения, всегда меньше максимально достижимой.

4. При наличии статистических связей между элементарными сообщениями (памяти источника) его энтропия уменьшается.

В качестве примера рассмотрим источник с алфавитом, состоящим из букв русского языка а,б, в,.....,ю, я. Будем считать для простоты, что размер алфавита источника К = 2⁵ = 32.

Если бы все буквы русского алфавита имели одинаковую вероятность и были статистически независимы, то средняя энтропия, приходящаяся на один символ, составила бы

H (λ)_max = log₂ 32 = 5 бит/букву.

Если теперь учесть лишь различную вероятность букв в тексте (а нетрудно проверить, что так оно и есть), расчетная энтропия составит

H (λ) = 4,39 бит/букву.

С учетом корреляции (статистической связи) между двумя и тремя соседними буквами (после буквы “ П” чаще встречается “ A ” и почти никогда – “ Ю ” и “ Ц ”) энтропия уменьшится, соответственно, до

H (λ) = 3,52 бит/букву и H (λ) = 3,05 бит/букву.

Наконец, если учесть корреляцию между восемью и более символами, энтропия уменьшится до

H (λ) = 2,0 бит/букву

и далее остается без изменений.

В связи с тем, что реальные источники с одним и тем же размером алфавита могут иметь совершенно различную энтропию (а это не только тексты, но и речь, музыка, изображения и т.д.), вводят такую характеристику источника, как избыточность

ρ_и = 1 - H (λ) / H (λ)_max = 1 - H (λ)/log K, (1.49)

где H (λ) - энтропия реального источника, log K - максимально достижимая энтропия для источника с объемом алфавита в К символов.

Тогда, к примеру, избыточность литературного русского текста составит

ρ_и = 1 - (2 бита/букву)/(5 бит/букву) = 0,6.

Другими словами, при передаче текста по каналу связи каждые шесть букв из десяти передаваемых не несут никакой информации и могут безо всяких потерь просто не передаваться.

Такой же, если не более высокой (ρ_и = 0,9...0,95) избыточностью обладают и другие источники информации - речь, и особенно музыка, телевизионные изображения и т.д.

Возникает законный вопрос: нужно ли занимать носитель информации или канал связи передачей символов, практически не несущих информации, или же возможно такое преобразование исходного сообщения, при котором информация "втискивалась" бы в минимально необходимое для этого число символов?

Оказывается, не только можно, но и необходимо. Сегодня многие из существующих радиотехнических систем передачи информации и связи просто не смогли бы работать, если бы в них не производилось такого рода кодирование. Не было бы цифровой сотовой связи стандартов GSM и CDMA. Не работали бы системы цифрового спутникового телевидения, очень неэффективной была бы работа Internet, а уж о том, чтобы посмотреть видеофильм или послушать хорошую музыку с лазерного диска, не могло быть и речи. Все это обеспечивается эффективным или экономным кодированием информации в данных системах.

Изучению этого раздела современной радиотехники – основ теории и техники экономного, или безызбыточного, кодирования - и посвящена следующая часть нашего курса.

Дата добавления: 2014-01-07