Данная мера была введена в 1947 году Клодом Шенноном и является наиболее общей количественной мерой (характеристикой) информации, используемой как в синтаксическом, так и семантическом аспекте.
Для установления статистической меры применяют энтропийный (энтропия - мера неопределенности) подход, основанный на следующей модели:
Пусть некоторый субъект имеет неполное представление об исследуемом объекте. В качестве меры неопределенности представления субъекта вводится величина, называема энтропией и обозначаемая Н.
Значение энтропии может менять информация получаемая субъектом в форме сообщений. При этом количество информации I содержащейся в сообщении, равно:
I=H1 – H2
где H1 – энтропия представления объекта до получения сообщения, а H2 – после получения сообщения.
Пусть в качестве исследуемого объекта используется некоторый дискретный источник информации, под которым будем понимать систему с конечным множеством состояний. Принятие системы одного из возможных состояний будем рассматривать как случайное событие. Количество информации содержащейся в одном таком событии зависит от вероятности данного события и определяется выражением
где p – вероятность случайного события
Данная формула определяет статистическую меру информации. Из нее следует, что часто происходящие события содержат мало информации, а в достоверном событии информация вообще отсутствует.
Количество информации, содержащееся в конечной последовательности случайных событий ансамбля равно
где k – число событий в последовательности
где - вероятность использования в сообщениях i-того символа алфавита
Количество информации содержащейся в сообщении длинной L
где – вероятность появления символа алфавита, расположенного в j-той позиции сообщения
Пример использования статистической меры в синтаксическом аспекте:
Пусть в сообщении использован алфавит: 1=ê6
Вероятность символов: 1/2, 1/4, 1/8 и 1/8 соответственно.
Тогда информативности символов алфавита равны:
а информативность сообщения <<1=ê6>> - 9 бит
Если все символы равновероятны, то статистическая мера в синтаксическом аспекте будет иметь максимально возможное значение и совпадать с мерой Хартли.
|
|
|
Дата добавления: 2015-04-24; Просмотров: 731; Нарушение авторских прав?; Мы поможем в написании вашей работы!
Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет