Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Энтропия сложных сообщений

При решении задач передачи информации часто имеют дело с несколькими зависимыми источниками сообщений. Совокупность сообщений, вырабатываемых несколькими источниками называют сложными сообщениями.

Пусть имеется два источника сообщений. Первый источник передает сообщения X1, X2,..,Xn с вероятностями Р(X1),Р(X2),..,Р(Xn) соответственно, а второй источник Y1, Y2,.., Ym с вероятностями Р(Y1),Р(Y2),..,Р(Ym) каждый имеет свой первичный алфавит. Тогда совместную энтропию совокупности сообщений X Y определяют по формуле

 

Учитывая, что вероятность появления двух сообщений xi yj может быть представлено в виде:



Однако сумма условных вероятностей при условии что в начале было передано сообщение Xi = 1, тогда первое выражение можно представить в виде (1), что и есть энтропия источника Х, т.е.

Второе слагаемое можно представить в виде:

где H(y/x) - частная условная вероятность, которая выражает энтропию сообщения У при условии что передано сообщение Х. Т.о. энтропия сложного сообщения равна сумме частной энтропии источника Х и условной энтропии источника У, но при условии, что Н(ху)=Н(х)+Н(у/х), перед этим сообщение поступило из источника х.

Но данную формулу можно записать по другому

 

Н(ху)=Н(х)+Н(х/у),

где

Таким образом можно сделать вывод, что энтропия сложного сообщения равна сумме безусловной энтропии первого сообщения и условной энтропии второго сообщения.

 

1. Если источники сообщений Х и У являются независимыми, то энтропия сложного сообщения будет:

Н(ху) = Н(х)+Н(у).

2. Если источники статистически зависимы, то энтропия сложного сообщения будет:

Н(ху) = Н(х) = Н(у).

3. Для совместной энтропии. Энтропия сложного сигнала не превышает сумму безусловных энтропий:

Н(ху) £ Н(х)+Н(у).

<== предыдущая лекция | следующая лекция ==>
Количественная мера информации | Решение. Для определения энтропии источника непрерывных сообщений воспользуемся формулой (12)
Поделиться с друзьями:


Дата добавления: 2014-01-13; Просмотров: 1084; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.012 сек.