На самостоятельную работу. Задача 1.Распределение знаков алфавита имеет вид р(х1) = 0,1, р(x2) = 0,1, р(x3) = 0,1, р(x4) = 0,7.Определить число знаков другого алфавита

Задача 1. Распределение знаков алфавита имеет вид р(х₁) = 0,1, р(x₂) = 0,1, р(x₃) = 0,1, р(x₄) = 0,7. Определить число знаков другого алфавита, у которого все знаки равновероятны, а энтропия такая же, как и у заданного алфавита.

Особый интерес представляют бинарные сообщения, использующие алфавит из двух знаков: (0,1). При m = 2 сумма вероятностей знаков алфавита: p₁+p₂ = 1. Можно положить p₁ = p, тогда p₂ = 1‑p.

Энтропию можно определить по формуле:

,

Энтропия бинарных сообщений достигает максимального значения, равного 1 биту, когда знаки алфавита сообщений равновероятны, т.е. при p = 0,5, и ее график симметричен относительно этого значения (рис.2.2).

Рис. 2.2. График зависимости энтропии Н двоичных сообщений и ее составляющих:
и от

Задача 2. Сравнить неопределенность, приходящуюся на букву источника информации (алфавита русского языка), характеризуемого ансамблем, представленным в таблице 2.2, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.

Для большинства реальных источников сообщения имеют разные вероятности. Например, в тексте буквы А, О, Е встречаются сравнительно часто, а Щ, Ы – редко. Согласно экспериментальным данным, для букв русского алфавита характерны безусловные вероятности, сведенные в табл. 2.2.

Таблица 2.2. Безусловные вероятности букв русского алфавита

буква	вероятность	буква	вероятность	буква	вероятность
пробел	0,175	М	0,026	Ч	0,012
О	0,090	Д	0,025	Й	0,010
Е	0,072	П	0,023	Х	0,009
А	0,062	У	0,021	Ж	0,007
И	0,062	Я	0,018	Ю	0,006
Т	0,053	Ы	0,016	Ш	0,006
Н	0,053	З	0,016	Ц	0,004
С	0,045	Ь,Ъ	0,014	Щ	0,003
Р	0,040	Б	0,014	Э	0,003
В	0,038	Г	0,013	Ф	0,002
Л	0,035	К	0,028

Решение.

1. При одинаковых вероятностях появления любой из всех m = 32 букв алфавита неопределенность, приходящуюся на одну букву, характеризует энтропия

.

2. Энтропию источника, характеризуемого заданным табл. 2.2 ансамблем, находят по формуле:

Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4,35 бит

Дата добавления: 2013-12-12