Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Пример 5. Совпадение оценок количества информации по Шеннону и по Хартли свидетельствует о полном использовании информационной емкости

Тогда

Н=log2L, бит Н=I’

Совпадение оценок количества информации по Шеннону и по Хартли свидетельствует о полном использовании информационной емкости. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости системы.

Энтропия для двух неравновероятных состояний одного элемента (h=2) равна:

Н=-(р1log2p1+p2log2p2)

Оно меньше информационной емкости двоичной ячейки составляющей бит. Эта видно из следующих расчетов.

А. Равновероятные состояния:

р12=0,5; р12=1

Н=-10,5log20,5+0,5log20,5)=0,5+0,5=1 бит

Б. Не равновероятные состояния:

р1=0,9 р2=0,1 р12=1

Н=-10,9log20,9)+0,1log20,1=-[0,9]-0,1520)+0,1(-3,32/9)=0,46/бит

В. Детерминированные состояния:

р1=1 р2=0 р12=1

Н=-(1log21+0log20)=0 (бит)

Изменение энтропии Н показано на рисунке.

Y

 

0,8

 

0,6

 

0,4

 

0,2

 

0,2 0,4 0,6 0,8 10 p

Изменение энтропии зависимости р

<== предыдущая лекция | следующая лекция ==>
Свойство энтропии | Энтропия объединения
Поделиться с друзьями:


Дата добавления: 2014-01-13; Просмотров: 353; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.013 сек.