Количественная оценка информации дискретного источника. Энтропия

Задачи и постулаты прикладной теории информации

К теории информации относят следующие фундаментальные теоретические вопросы:

- анализ количественныхинформационных характеристик источников сообщений и каналов связи.

- обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи, как при отсутствии, так и при наличии помех.

В теории информации исследуются информационные системы при четко сформулированных условиях:

1. Источник сообщения осуществляет выбор символа Xi из некоторого множества с определенной вероятностью, Pi

2. Символы могут передаваться по каналу связи в закодированном виде. Кодированные сообщения образуют множество, являющееся взаимно однозначным отображением множества символов. Правило декодирования известно декодеру (записано в его программе).

3. Символы следуют друг за другом, причем их число в сообщении может быть сколь угодно большим.

4. Сообщение считается принятым верно, если в результате декодирования оно может быть в точности восстановлено. При этом не учитывается, сколько времени прошло с момента передачи сообщения до момента окончания декодирования, и какова сложность операций кодирования и декодирования.

5. Количество информации не зависит от смыслового содержания сообщения, от его эмоционального воздействия, полезности и даже от его отношения к реальной действительности.

В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации Это понятие не затрагивает смысл и важности передаваемого сообщения, а связано со степенью его неопределенности.

Пусть источник случайных сообшений выдает всего N различных символов или букв. иногда этот набор символов называют алфавитом источника. Из этих символов или букв состоят сообшения на выходе источника. Длина отдельного сообшения произвольна, и может быть вообще не ограничена.

Введем теперь меру неопределенности появления определенного символ на выходе источника. Ее можно рассматривать и как меру количества информации, получаемой при появлении этого символа. Мера должна удовлетворять ряду естественных условий. Она должна возрастать с увеличением возможностей выбора, т. е. с увеличением числа N возможных символов на выходе источника. Тогда за меру неопределенности можно было бы взять число различных символов, предположив, что они равновероятны.

Таким образом пусть на выходе источника случайных сообщений появляется сообшение произвольной длины, состояшее из N различных символов. Если вcе N символов источника являются равновероятными, то получение конкретного символа равносильно для него случайному выбору одного из N символов с вероятностью 1/N.

Ясно, что чем больше N тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать соообщение, составленное из этих символов.

Поэтому число N могло бы служить мерой информативности источника.

Однако такая мера противоречит некоторым интуитивным представлениям. Например, при N =1, когда неопределенность появления символа отсутствует, она давала бы значение информативности, равное единице. Кроме того, такая мера не отвечает требованию аддитивности, состоящему в следующем. Если два независимых источника с числом равновероятных символов N и Μ рассматривать как один источник, одновременно реализующий пары символов N_im_j, то естественно предположить, что информативность объединенного источника должна равняться сумме информативностей исходных источников. Поскольку общее число состояний объединенного источника равно ΝΜ, то искомая функция должна удовлетворять условию

I(N,M)=I(N)+I(M)

Требования выполняются, если в качестве меры информативности источника сообшений с равными вероятностями появления символов принять логарифм числа различных символов источника: Тогда при Ν= 1, I(U) = 0 и выполняется требование аддитивности для двух и более источников. Указанная мера была предложена американским ученым Р. Хартли в 1928г.

При этом в качестве меры неопределенности выбора ОДНОГО символа источника с равновероятными появлением символов принимают логарифм числа символов источника:

H = logN

Эта логарифмическая функция характеризует количество информации источника сообщений. Ее называют энтропией. Эта мера была предложена американским ученым Р.Хартли в 1928г.

В принципе безразлично, какое основание логарифма использовать для определения количества информации так как в переход от одного основания логарифма к другому сводится лишь к изменению единицы измерения.

Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум, т.е. информативность выражают как:

H = log₂ N.

Тогда единицу количества информации на один символ источника называют двоичной единицей или битом. При этом единица неопределенности (двоичная единица или бит) представляет собой неопределенность выбора из двух равновероятных событий (bit — сокращение от англ binary digit — двоичная единица)

Так как из log₂ N = 1 следует N = 2, то ясно, что один бит - это количество информации, которым характеризуется двоичный источник при равновероятных символах 0 и 1.

Двоичное сообщение такого источника длиной L содержит L бит информации.

Если основание логарифма выбрать равным десяти, то энтропия выражается в десятичных единицах на элемент сообщения - дитах, причем 1 дит = lg₂ бит = 3,32 бит.

Пример. Определить количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом в 1 В.

Решение. В рассматриваемом случае длина сообщения (символа), соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.

Количество символов (различных значений амплитуды) равно числу значений, которое может принять амплитуда импульсов в строке,: N = 8.

Количество информации в одной строке: Iстр. =600 logN= 600 log 8, а количество информации в кадре: Isum= 625*Iстр = 625 *600 log 8 == 1,125 • 10⁶ бит

Рассмотренная выше оценка информативности или энтропия основана на предположении о равновероятности всех знаков алфавита. В общем же случае каждый из символов появляется в сообщении источника с различной вероятностью.

И что теперь делать? Как охарактеризовать информативность или меру неопределенности такого источника? Рассмотрим пути решения этой проблемы.

Пусть на основании статистического анализа известно, что в сообщении достаточно большой длины n знак Хi появляется n; раз, т.е. вероятность появления знака Хi

Все знаки алфавита этого источника составляют полную систему случайных событий, поэтому:

Введем понятие частной энтропии или неопределенности появления ОДНОГО конкретного i -того символа такого источника:

H_i=-log(P_i)

Тогда, взвесив ВСЕ частные энтропии вероятностями их появления P_i, можно записать выражения для средней энтропии, приходяшейся на ОДИН символ источника.

Эта средняя энтропия характеризует нам ВЕСЬ источник, его среднюю энтропию на один символ

Эта мера энтропии была введена Клодом Шенноном. Она полностью удовлетворяет нашим интуитивным требованиям к мере информации. Она аддитивна, при верорятностях появления символов источника, равным 1 и 0 она тоже равна 0.

Если сообщение источника состоит из n независимых символов, то суммарное количество информации в этом сообщении

В дальнейшем в выражениях для количества информации I и энтропии Н всегда используют логарифмы с основанием 2,

Дата добавления: 2014-01-04