Количество информации и избыточность

Количество информации только тогда равно энтропии, когда неопределенность ситуации снимается полностью. В общем случае нужно считать, что количество информации есть уменьшение энтропии вследствие опыта или какого-либо другого способа познания.

Если неопределенность снимается полностью, то информация равна энтропии:

I=H

В случае неполного снятия неопределенности имеет место частичная информация, являющаяся разностью между начальной и конечной энтропией:

I=H₁-H₂

Наибольшим количество информации получается тогда, когда полностью снимается неопределенность, причем эта неопределенность была наибольшей, вероятности всех событий были одинаковы. Это соответствует максимально возможному количеству информации I’, оцениваемому мерой Хартли.

I’=log₂Q=log₂(1/p)=-log₂p,

где Q-число событий, а р -вероятность их реализации в условиях равной вероятности всех событий. Таким образом

I’=H_max

Абсолютная избыточность информации Д_абс представляет собой разность между максимально возможным количеством информации и энтропией.

Д_абс=I’-H=H_max-H

Относительная избыточность определяется как:

Д_опт=

Дата добавления: 2014-01-13