Оценка количества информации

Информация, энтропия, избыточность

Основные разделы теории кодирования

Кодирование дискретных источников – рассматривает вопросы выбора представления информации, её структурирования, сжатия без потерь. То есть рассматриваются вопросы кодирования для идеальных каналов без шума.

Кодирование информации для передачи по каналу с шумом – исследуются вопросы, связанные с защитой информации от модификации и искажения при ее передаче по каналам связи в присутствии помех.

Кодирование с заданным критерием качества – направление связано с допустимыми искажениями сообщений, при которых основная информация не теряется и не претерпевает заметных и ощутимых искажений. Очевидным является, например то, что аналоговая информация не может быть представлена в цифровом виде без искажений. Данное направление призвано найти компромисс между качеством представления информации и затратами на ее хранение и передачу.

Кодирование информации для систем со многими пользователями – затрагивает вопросы взаимодействия абонентов использующих какой-либо общий ресурс, например физическую среду передачи данных. Классическим примером можно считать мобильные системы связи с множественным доступом.

Секретная связь, криптографическое кодирование – рассматриваются вопросы защиты информации от несанкционированного доступа, в основном при ее передачи по отрытым каналам связи общего пользования.

В теории информации выделяются три основных направления: структурное, статистическое, семантическое.

Структурное - рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. (Простейшее кодирование массивов - комбинаторный метод.)

Статистическое направление оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений.

Семантическое направление учитывает целесообразность, ценность или существенность информации.

Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации, независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи данных, определении пропускной способности каналов связи. Семантические используются при решении задач построения систем передачи информации разработки кодирующих устройств и при оценке эффективности различных устройств.

Дата добавления: 2014-12-16