Энтропия источника с учетом корреляционных связей между сообщениями

Пропускная способность канала с шумами

Энтропия (по Шеннону)

Мера Хартли

Мера количества информации

Код Шеннона-Фано

Буква	Вероятность	Ступени кодирования	Код
В	0,5
О	0,3
Н	0,1
З	0,1

Передается сообщение

З В О Н

1 1 1 0 1 0 1 1 0

Среднее количество бит для передачи одной буквы

n=1*0,5 + 2*0,3 + 3*0,1 + 3*0,1 = 1,7 (бит/букву)

Отгадать последовательность закодированных букв

I=log₂ M (дв.ед./сообщение)

H = -Σp (i)*log₂ p(i) ( бит/сообщение)

Определим энтропию источника дискретных сообщений, имеющего 4 состояния.

Вариант 1

p(1) = 0,5

p(2) = 0,25

p(3) = 0,125

p(4) = 0,125

Энтропия источника информации

H = - (0,5*log₂0,5 + 0,25*log₂0,25 + 0,125*log₂0,125 + 0,125*log₂0,125) =

-[ 0,5*(-1) + 0,25*(-2) + 0,125*(-3) + 0,125*(-3)]=

- [(-0,5)+(-0,5)+(-0,375)+(-0,375)]=1,75 (бит/сообщение)

Вариант 2

p(1) = 0,25

p(2) = 0,25

p(3) = 0,25

p(4) = 0,25

Энтропия источника информации

H = - (0,25*log₂0,25 + 0,25*log₂0,25 + 0,25*log₂0,25 + 0,25*log₂0,25) =

-[(-0,5)+(-0,5)+(-0,5)+(-0,5)]=2 (бит/сообщение)

Вариант 3

p(1) = 1

p(2) = 0

p(3) = 0

p(4) = 0

Энтропия источника информации

H== - (1*log₂1 + 0*log₂0 + 0*log₂0 + 0*log₂0) =

-[0+0+0+0]=0 (бит/сообщение)

Пропускная способность канала без шумов

C=1/t*log₂m (бит/сек)

C=F*log₂(1+Pc/Pш) (бит/сек)

Условные вероятности появления сообщений на выходе источника

p(i)=1/4

P(1/2)=1

P(1/3)=0

P(1/4)=0

P(1/1)=0

Энтропия источника

H=-1/4*(1*log₂1+0log₂0+0log₂0+0log₂0)=0дв.ед

Дата добавления: 2014-01-13