Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Энтропия и избыточность сообщений




Семантические меры информации

Семантические меры информации оценивают смысл, содержание информации, ее целесообразность и существенность. Целесообразность, полезность информации для решения какой-то задачи можно оценить по эффекту, который оказывает полученная информация на решение задачи. Если вероятность достижения цели увеличивается, то информацию следует считать полезной.

 

Количество информации, приходящейся на один элемент сообщения, называется удельной информативностью или энтропией.

Н= .

Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах. Основание логарифма определяет единицу измерения количества информации и энтропии. Двоичная единица соответствует основанию логарифма, равному двум, и называется битом. Один бит - это количество информации в сообщении в одном из двух равновероятностных исходов некоторого опыта. Используются также натуральные (НИТ) и десятичные (ДИТ) логарифмы. Аналогичными единицами пользуются и при оценке количества информации с помощью меры Хартли.

Из формулы Шеннона следует, что количество информации, содержащейся в сообщении, зависит от числа элементов сообщения п, алфавита т и вероятностей выбора элементов . Зависимость I от п является линейной.

Отметим некоторые свойства энтропии.

1. Энтропия является величиной вещественной, ограниченной и неотрицательной, то есть Н> 0. Это свойство следует из выражения.

2. Энтропия минимальна и равна нулю, если сообщение известно заранее, то есть если =1, а .

3. Энтропия максимальна, если все состояния элементов сообщений равновероятны.

Н= , если .

Величина максимальной энтропии:

4. Энтропия бинарных (двоичных) сообщений может изменяться от нуля до единицы (двоичный алфавит, следовательно, т= 2.)

Н= .

Используя условие и обозначив = Р, получим , а энтропия определится выражением

Н= -P log P - (1 - P)log(1 - P).

Энтропия достигает максимума, равного единице, при = =0,5.

 

Информационное содержание одного сообщения в потоке, в наиболее общем случае, определяется как:

Обозначим как R логарифм числа символов в алфавите сообщений:

Абсолютная избыточность может быть определена как разность этих двух величин:

Соотношение называется относительной избыточностью и дает математическую оценку максимальной степени сжатия, на которую может быть уменьшен размер файла.

 




Поделиться с друзьями:


Дата добавления: 2014-12-16; Просмотров: 582; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.012 сек.