КАТЕГОРИИ:
Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)
Избыточность
|
|
|
|
Энтропия представляет собой среднее количество информации (в битах), приходящееся на один знак, отсюда: если Н(а) снижается, то падает среднее количество информации на одно элементарное сообщение аi. Это рассматривают как снижение информационной емкости сообщений и появление избыточности. В связи с этим появляется возможность передачи сообщений в сокращенном виде без потерь информации.
Например, при передаче телеграмм мы исключаем из текста союзы, предлоги, знаки препинания, ибо они легко восстанавливаются при чтение переданного текста.
Избыточность:
где Нi (а) – реальная энтропия
Н0 (а) – энтропия в предложений, что все знаки его (аi) равновероятны.
r – Коэффициент сжатия.
Искажение избыточности приводит к сокращению времени передачи одной и той же информации.
Сжатие сообщений можно осуществить посредством соответствующего «оптимального «кодирования.
Наиболее известны коды Шеннона – Фено и Хаффмена. Смысл такого кодирования в том, что более часто встречающимся знакам (вероятности появления их велики) присваиваются короткие кодовые комбинации, редко встречающимся – длинные. Этим достигаются два преимущества снижается число используемых бита один знак в среднем, и становятся более помехозащищенными ценные знаки (с малой вероятностью появления), так как более длинную кодовую комбинацию поразить труднее (чем короткую).
|
|
|
|
|
Дата добавления: 2014-01-13; Просмотров: 335; Нарушение авторских прав?; Мы поможем в написании вашей работы!