Количество информации, энтропия источника сообщений

Для сравнения между собой различных источников сообщений необходимо ввести некоторую количественную меру, которая дала бы возможность объективно оценить информацию, содержащуюся в сообщении. Такая мера впервые была введена K. Шенноном в 1948 г., а затем более строго определена А.Я. Хинчиным. Рассмотрим основы информационного подхода Шеннона.

Всякая информация получается потребителем после приема сообщения, то есть в результате опыта. Сообщение, получаемое на приемной стороне, несет полезную информацию лишь в том случае, если имеется неопределенность относительно состояния источника. Если опыт может закончиться только одним исходом и наблюдатель заранее знает исход опыта, то по его результату он не получает никакой информации. Например, если сообщат, что солнце всходит на востоке, то никакой информации это сообщение не принесет, поскольку все знают, что это верно. В таком событии, как ежедневный восход солнца на востоке, нет ничего неопределенного, вероятность этого события равна единице и количество информации, приносимое сообщением о таком событии, равно нулю. Информация появится лишь тогда, когда источник будет иметь по крайней мере более одного возможного состояния.

Рассмотрим источник, выдающий последовательность независимых дискретных сообщений {l_i}, каждое из которых случайным образом выбирают из алфавита сообщения A (l_i)= l₁, l₂, l₃,... l_K, где K - размер алфавита источника. Такой источник будем называть источником без памяти с конечным дискретным алфавитом. Сообщения, вырабатываемые таким источником, называются простыми сообщениями.

В каждом элементарном сообщении l_i для его получателя содержится некоторая информация. Определим количественную меру этой информации и выясним, от чего она зависит.

До того, как связь состоялась, у получателя всегда имеется большая или меньшая неопределенность относительно того, какое сообщение l_i из числа возможных будет передано.

Совершенно очевидно, что степень этой неопределенности, или неожиданности передачи l_i, зависит от вероятности передачи того или иного сообщения. Например, если вероятность передачи какого-либо сообщения l_i очень высока, то еще до передачи мы почти наверняка знаем, какое сообщение будет передано, и его прием не принесет нам почти никакой новой информации.

Таким образом, очевидно, что количество информации, содержащейся в элементарном сообщении l_i, является некоторой функцией от вероятности передачи этого сообщения Р(l_i):

J (l_i) = j {P (l_i)}. (1.31)

Определим вид этой функции j. Для этого потребуем, чтобы мера количества информации J(l_i) удовлетворяла двум интуитивным свойствам:

1. Если выбор сообщения l_i заранее предопределен (Р(l_i) = 1 -неопределенности нет), то количество информации в этом сообщении равно нулю: J (l_i) = j {1} = 0.

2. Если источник последовательно выбирает сообщения l_i и l_j и вероятность такого выбора Р(l_i , l_j ) есть совместная вероятность событий l_i и l_j , то количество информации в этих двух элементарных сообщениях будет равно сумме количеств информации в каждом из них.

Вероятность совместного выпадения событий l_i и l_jР(l_i , l_j ), как известно, определяется по формуле полной вероятности

Р (l_i , l_j ) = Р(l_i )× Р(l_j /l_i ) = P × Q. (1.32)

Тогда, в соответствии с требованием (2), должно выполняться условие

j { P× Q } = j (P) + j (Q). (1.33)

Нетрудно догадаться, что функцией, удовлетворяющей этим двум предъявляемым к ней условиям, является функция вида

J (l_i) = a log P(l_i), (1.34)

при этом как коэффициент a, так и основание логарифма могут быть выбраны произвольно. Однако для удобства (чтобы количественная мера информации была положительной) принимают a = - 1. Основание логарифма обычно выбирают равным двум, и тогда

J (l_i) = - log₂ P(l_i). (1.35)

Определенная таким образом единица измерения информации называется двоичной единицей, или битом информации. Например, если какое-либо из элементарных сообщений l_i может быть выбрано из алфавита и передано с вероятностью P(l_i) = 1/8, то говорят, что в нем содержится log₂ (1/8) = 3 бита информации.

Иногда в качестве основания логарифма выбирают e, тогда информация измеряется в натуральных единицах, или натах.

Количество информации, содержащееся в одном элементарном сообщении l_i, еще никак не характеризует источник. Одни элементарные сообщения могут нести много информации, но передаваться очень редко, другие - передаваться чаще, но нести меньше информации. Поэтому источник может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение, носящим название “ энтропия источника” и определяемым следующим образом:

, i = 1, K. (1.36)

Энтропия, как количественная мера информативности источника, обладает следующими свойствами:

1. Энтропия есть величина вещественная, ограниченная и неотрицательная. Эти ее свойства вытекают из вида выражения для Н(l), а также с учетом того, что 0 < P(l_i) < 1.

2. Энтропия детерминированных сообщений равна нулю, то есть Н(l)= 0, если хотя бы одно из сообщений имеет вероятность, равную единице.

3. Энтропия максимальна, если сообщения l_i равновероятны, то есть

P(l₁) = P(l₂) =....... P(l_k) = 1/K, и тогда

(1.37)

Как видно из последнего выражения, в случае равновероятных сообщений энтропия растет с увеличением объема алфавита источника (ростом числа сообщений). При неравновероятных элементарных сообщениях l_i энтропия, соответственно, уменьшается.

4. Энтропия двоичного источника (K = 2) может изменяться от нуля до единицы. Действительно, энтропия системы из двух сообщений l₁ и l₂

(1.38)

Из последнего выражения видно, что энтропия равна нулю при P(l₁)= 0; P(l₂)= 1, или P(l₁) = 1; P(l₂) = 0; при этом максимум энтропии будет иметь место, когда P(l₁)=P(l₂)=1/2 и ее максимальное значение будет равно 1 бит.

Дата добавления: 2014-01-07