Передача информации по каналу связи

Количество информации и избыточность

Количество информации только тогда равно энтропии,
когда неопределенность ситуации снимается полностью. В общем случае нужно считать, что количество информации есть уменьшение энтропии вследствие опыта или какого-
либо другого акта познания. Если неопределенность снимается полностью, то информация равна энтропии

I = Н.

В случае неполного разрешения имеет место частичная
информация, являющаяся разностью между начальной и
конечной энтропией:

I =Н ₁ — Н ₂. (1-25)

Наибольшее количество информации получается тогда,
когда полностью снимается неопределенность, причем эта
неопределенность была наибольшей- вероятности всех
событий были одинаковы. Это соответствует максимально
возможному количеству информации I', оцениваемому
мерой Хартли,

I' = log₂Q = log₂(1/p) = log₂p, (1-26)

где Q — число событий, а p — вероятность их реализации
в условиях равной вероятности всех событий. Таким образом

I' = Н _makc (1-27)

Абсолютная избыточность информации D,q, представляет собой разность между максимально возможным количеством информации и энтропией

D _абс = I' — Н, или D _абс = Н_{м акс} — Н. (1-28)

Пользуясь также понятием относительной избыточности,

D = (Н_макс - H)/Н_макс = 1 — H/Н_макс. (1-29)

Иллюстрируя понятие избыточности, ограничимся рас-
смотрением упрощенной модели: допустим, что статистические свойства информации косвенно учитываются через
постоянные и переменные составляющие какого-либо физического процесса. Тогда, выражая относительную избы-
точность, можно определять информацию в любых единицах, например, подсчитывать кванты в данном комплексе информации.

Всякая информация, прежде чем достичь потребителя должна пройти по каналу связи между её источником и абонентом. Канал передачи информации в общем виде состоит из линии связи, модулятора и демодулятора (кроме случая, когда для передачи используется простая модуляция, при которой сигнал в линии совпадает с сигналом датчика), кодирующего и декодирующего, а также решающего устройств, позволяющих с высокой достоверностью принять и передать сообщение.

Р ис. 1.4. Цифровые и аналоговые каналы передачи

Дата добавления: 2014-01-06