Ентропія при безперервному повідомленні

На самостоятельную работу

На самостоятельную работу

Задача 1. Распределение знаков алфавита имеет вид р(х₁) = 0,1, р(x₂) = 0,1, р(x₃) = 0,1, р(x₄) = 0,7. Определить число знаков другого алфавита, у которого все знаки равновероятны, а энтропия такая же, как и у заданного алфавита.

Особый интерес представляют бинарные сообщения, использующие алфавит из двух знаков: (0,1). При m = 2 сумма вероятностей знаков алфавита: p₁+p₂ = 1. Можно положить p₁ = p, тогда p₂ = 1‑p.

Энтропию можно определить по формуле:

,

Энтропия бинарных сообщений достигает максимального значения, равного 1 биту, когда знаки алфавита сообщений равновероятны, т.е. при p = 0,5, и ее график симметричен относительно этого значения.(рис.2.2).

Рис. 2.2. График зависимости энтропии Н двоичных сообщений (1) и ее составляющих (2,3): ‑ (1‑ p) log (1‑p) и ‑p log p от p

Задача 2. Сравнить неопределенность, приходящуюся на букву источника информации (алфавита русского языка), характеризуемого ансамблем, представленным в таблице 2.2, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.

Для большинства реальных источников сообщения имеют разные вероятности. Например, в тексте буквы А, О, Е встречаются сравнительно часто, а Щ, Ы – редко. Согласно экспериментальным данным, для букв русского алфавита характерны безусловные вероятности, сведенные в табл. 2.2.

Таблица 2.2. Безусловные вероятности букв русского алфавита

буква	вероятность	буква	вероятность	буква	вероятность
пробел	0,175	М	0,026	Ч	0,012
О	0,090	Д	0,025	Й	0,010
Е	0,072	П	0,023	Х	0,009
А	0,062	У	0,021	Ж	0,007
И	0,062	Я	0,018	Ю	0,006
Т	0,053	Ы	0,016	Ш	0,006
Н	0,053	З	0,016	Ц	0,004
С	0,045	Ь,Ъ	0,014	Щ	0,003
Р	0,040	Б	0,014	Э	0,003
В	0,038	Г	0,013	Ф	0,002
Л	0,035	К	0,028

Решение.

1. При одинаковых вероятностях появления любой из всех m = 32 букв алфавита неопределенность, приходящуюся на одну букву, характеризует энтропия

H = log m = log 32 = 5 бит.

2. Энтропию источника, характеризуемого заданным табл. 2.2 ансамблем, находят по формуле:

» 4,35 бит.

Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4,35 бит

В задаче 2 проверить полученные результаты, написав программу расчета в Excel, MathCad.

Задача 3. Заданы ансамбли Х и Y двух дискретных величин:

Таблица 2.3.

Случайные величины хi	0,5	0,7	0,9	0,3
Вероятности их появления	0,25	0,25	0,25	0,25

Таблица 2.4.

Случайные величины уj
Вероятности их появления	0,25	0,25	0,25	0,25

Сравнить их энтропии.

Решение. Энтропия не зависит от конкретных значений случайной величины. Так как вероятности их появления в обоих случаях одинаковы, то

Н(Х) = Н(Y) = ‑ 4(0,25 log 0,25) = ‑4(1/4 log 1/4) = log 4 = 2 бита

Ранее была рассмотрена мера неопределенности выбора для дискретного источника информации. На практике в основном встречаются с источниками информации, множество возможных состояний которых составляет континуум. Такие источники называют непрерывными источниками информации.

Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передается и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы аналоговой телефонной связи и телевидения.

Оценка неопределенности выбора для непрерывного источника информации имеет определенную специфику.

Во-первых, значения, реализуемые источником, математически отображаются случайной непрерывной величиной.

Во-вторых, вероятности значений этой случайной величины не могут использоваться для оценки неопределенности, поскольку в данном случае вероятность любого конкретного значения равна нулю.

Естественно, однако, связывать неопределенность выбора значения случайной непрерывной величины с плотностью распределения вероятностей этих значений.

Учитывая, что для совокупности значений, относящихся к любому сколь угодно малому интервалу случайной непрерывной величины, вероятность конечна, попытаемся найти формулу для энтропии непрерывного источника информации, используя операции квантования и последующего предельного перехода при уменьшении кванта до нуля.

Дата добавления: 2014-01-06