Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Взаимная энтропия. Свойства энтропии объединения


Доверь свою работу кандидату наук!
1500+ квалифицированных специалистов готовы вам помочь

Энтропия объединения или взаимная энтропия используется для вычисления энтропии совместного появления статистически зависимых сообщений либо энтропии взаимосвязанных систем.

Например, при передаче по каналу связи с шумами цифры 5, из 100 раз цифра 5 была принята 90 раз, цифра 6 — восемь раз, цифра 4 — два раза. Неопределенность возникновения комбинаций вида 5—4; 5—5; 5—6 при передаче цифры 5 может быть описана при помощи энтропии объединения Н (А, В).

Понимание энтропии объединения (иногда употребляют термин «взаимная энтропия») облегчается, если расуждения сводятся к некоторому условному каналу связи. На примере передачи информации по каналу связи также удобнее проследить взаимосвязь понятий условной энтропии Н (В/А) и взаимной энтропии H(А, В).

Итак, пусть 1, а2, ..., аi .... аn) есть выборочное пространство А, или символы характеризующее источник сообщений, a (b1, b2, …, bj,…,bm) выборочное пространство В, или символы, характеризующее приемник сообщений. При этом а есть сигнал на входе шумящего капала, а b - сигнал на его выходе. Взаимосвязь переданных и принятых сигналов описывается вероятностями совместных событий вида p(a,b), а взаимосвязь выборочных пространств А и В описывается матрицей вида:

 

Если матрица описывает канал связи, то число строк матрицы равно числу столбцов m=n и пределы суммирования по i и по j одинаковы. При описании взаимодействия систем равенство m=n необязательно.

Независимо от равенства или неравенства числа строк числу столбцов матрица объединения обладает свойством:

В свою очередь,

т. е.

Это свойство позволяет вычислять энтропию источника и приемника сообщений непосредственно по матрице объединения :

До знака логарифма суммирование производится по i и j, так как для нахождения безусловных вероятностей необходимо производить суммирование по одной координате (имеется в виду матричное представление вероятностей), а для нахождения соответствующей энтропии суммирование производится по другой координате.



Условные вероятности 'при помощи матрицы объединения находятся следующим образом:

 
 

Энтропия объединения ансамблей А и В при помощи матрицы объединения вычисляется путем последовательного суммирования по строкам или gо столбцам всех вероятностей вида р(а, b), умноженных на логарифм этих же вероятностей

Размерность этой энтропии - «бит/два символа»

Размерность «бит/два символа» объясняется тем, что взаимная энтропии представляет собой неопределенность возникновения пары символов, т.е. неопределенность на два символа. В случае отсутствия зависимости между символами выражение для H(A,B) принимает вид выражения H(A) или H(B) , и соответсвенно размерность будет «бит/символ».

Исследуем выражение для взаимной энтропии

Из теории вероятностей известно, что (смотрим на основные соотношения в начале лекции)

Используя это свойство, выражение для взаимной энтропии можно записать как

 

Но

и ,

тогда первое слагаемое выражение принимает вид

 

 

Второе слагаемое, есть не что иное, как H(В/А), что позволяет выражение записать в виде

 

 

Энтропия объединения передаваемого ансамбля А и принимаемого ансамбля В равна сумме безусловной энтропии H(A) и условной энтропии Н (В/А).

Последняя в данном случае представляет ту добавочную информацию, которую дает сообщение В после того, как стала известна информация, содержащаяся в сообщении А. Таким образом, условная энтропия представляет собой неопределенность того, что при приеме b было послано а, а взаимная энтропия отражает неопределенность возникновения пары вида ab.

Энтропия объединения обладает свойством симметрии.

H(A,B)=H(B,A)

Свойство симметрии энтропии объединения хорошо иллюстрируется матрицей, изображенной на рисунке.

Действительно, если просуммировать все элементы матрицы объединения по строкам и но столбцам по схеме рисунка а затем сложить полученные результаты, то обе суммы будут равны единице. Свойство симметрии позволяет записать соотношения между условной энтропией и энтропией объединения следующим образом:

Если построена матрица вероятностей р(a,b), описывающая взаимосвязь двух произвольных выборочных пространств, в частности взаимосвязь входа и выхода шумящего канала связи, то остальные информационные характеристики могут не задаваться, так как матрица взаимной энтропии обладает информационной полнотой.

Взаимная информация между асамблем сообшений источника А и приемника В выражается формулами

 

При отсутствии статистической зависимости между элементами ансамблей А и В условные вероятности превращаются в безусловные

В этом случае

 

При полной статистической зависимости между элементами ансамблей А и В (например, когда результат одного события однозначно определяет информацию о другом событии)

Н(В/А) = Н (А/В) = 0,

а взаимная энтропия

В случае передачи информации по каналам связи полная статистическая зависимость между передаваемыми и принимаемыми сигналами говорит об отсутствии помех, канальная матрица приобретает вид

условные вероятности правильного приема равны единице, остальные - нулю, что превращает в нуль все частные условные энтропии.

аналогично

и, следовательно, и общая условная энтропия превращается в нуль и выражение для Н(А,В) приобретает вид

Выводы:

1. Энтропия объединенной системы А, В равна безусловной энтропии одной из них плюс условная энтропия второй относительно первой.

2. Матрица «объединения», описывающая взаимодействие систем или ансамблей сообщений при помощи вероятностей совместных событии, обладает свойством информационной полноты ( а сумма ее элементов равна 1).

3. Взаимная энтропия ансамблей произвольных выборочных пространств обладает свойством взаимной симметрии.

4. В случае статистической независимости элементов ансамблей взаимная энтропия любого количества ансамблей ровна сумме их безусловных энтропий.

5. При полной статистической зависимости ансамбля источника сообщений и ансамбля приемника сообщений их взаимная энтропия равна безусловной энтропии источника сообщений.



 

Поможем в написании учебной работы
Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой
<== предыдущая лекция | следующая лекция ==>
Основные свойства условной энтропии | Избыточность информации, причины ее появления

Дата добавления: 2014-01-04; Просмотров: 2798; Нарушение авторских прав?;


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



ПОИСК ПО САЙТУ:


Читайте также:

  1. B-адреномиметики. Фармакологические свойства. Показания к применению. Побочные эффекты.
  2. I. Средство, обладающее свойствами антигипоксанта и ноотропа
  3. IV. Адгезионные свойства частиц.
  4. А-адреноблокаторы. Фармакологические свойства. Показания к применению. Побочные эффекты.
  5. А. Свойства и виды рецепторов. Взаимодействие рецепторов с ферментами и ионными каналами
  6. Алгоритм и его основные свойства
  7. Арифметическая середина и ее свойства
  8. Биологически активные неорганические соединения (строение, свойства, участие в функционировании живых систем). Физико-химия поверхностных явлений и свойства дисперсных систем
  9. Биология как наука. Сущность жизни. Свойства живого. Уровни организации живого. Клеточная теория.
  10. Булевые функции и их свойства.
  11. В какой области размеров специфические свойства дисперсных систем проявляются особенно интенсивно?
  12. Векторное поле и криволинейный интеграл (КИ). Свойства КИ.

studopedia.su - Студопедия (2013 - 2022) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.02 сек.