Теоретическое обоснование. Расчет и анализ информационных характеристик источников сообщений на основе энтропийного подхода

Расчет и анализ информационных характеристик источников сообщений на основе энтропийного подхода

Цель и содержание:

Цель – приобретение студентами навыков расчета и анализа информационных характеристик различных источников сообщений на основе энтропийного подхода.

Содержание занятия:

- изучение теоретического обоснования;

- расчет энтропии различных типов источников сообщений (задачи 1 и 2);

- определение информационной производительности и коэффициента избыточности источников сообщений (задачи 3 и 4);

- оформление и защита отчета по лабораторной работе.

Исторически первым возник энтропийный подход к определению количества информации, потому что еще в 19-м веке физики ввели понятие «энтропия» для определения величины, характеризующей процессы перехода тепловой энергии в механическую энергию. В какой-то мере эта величина характеризовала меру хаотичности (неопределенности) движения молекул. Понятие «энтропии» введено в 1865 г. Клаузиусом. Статистическая физика рассматривает энтропию как меру вероятности пребывания системы в данном состоянии (принцип Больцмана). Понятием энтропии широко пользуются в физике, химии, биологии и теории информации

Наверное, поэтому знаменитый американский ученый Клод Шеннон (рисунок 2.1) в 1948 году опубликовал в журнале «Bell System technical» статью «Передача информации». В этой статье он назвал энтропией количество информации, вырабатываемой источником, и предложил количественную меру измерения информации.

Рисунок 2.1 – Клод Элвуд Шеннон (англ. Claude Shannon, 1916 – 2001)

Согласно Шеннону, количество информации , содержащееся в элементе , выбираемом из алфавита , где , M – объем алфавита, с вероятностью , определяется как

,

(2.1)

где – частная энтропия.

Количеством информации называют числовую характеристику информации, отражающую ту степень неопределенности, которая исчезает после получения информации.

Частная энтропия определяет неопределенность выбора элемента для неподготовленного получателя и совершенно не учитывает как смысловое содержание, так и субъективную ценность передаваемого сообщения, т. е. в основе определения частной энтропии лежит только вероятностный характер источника сообщений. Основание логарифма в (2.1) может быть произвольным, оно определяет лишь систему единиц измерения количества информации. В двоичных системах связи для определения количества информации чаще всего используется основание два . При этом за единицу информации принимается один бит (англ. bit – bi nary digi t – двоичная цифра). Это количество информации, при котором неопределенность, т. е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения – да или нет.

Говоря иначе, одна двоичная единица информации (один бит) – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью элементов.

Среднее количество информации или среднюю частную энтропию, приходящуюся на один элемент, выдаваемую дискретным источником независимых элементов с объемом алфавита М, можно найти как математическое ожидание дискретной случайной величины :

,

(2.2)

Выражение (2.2) называется формулой Шеннона для энтропии источника с независимым и не равновероятным алфавитом. Здесь Н является средней неопределенностью, приходящейся на одно сообщение, т.е. энтропией источника сообщений.

Исследуем теперь область значений, которые может принимать энтропия.

Поскольку вероятность лежит в интервале от 0 до 1, слагаемые в формуле (2.2) для вычисления энтропии всегда либо отрицательны, либо равны нулю. Последнее получается, если либо , либо (в этом случае получается неопределенность типа , которую можно разрешить с помощью правила Лопиталя)

.

Поэтому энтропия Н может быть только положительной или равной 0.

Анализ (2.2) показывает, что максимальной энтропией обладает источник с равновероятным и независимым алфавитом :

.

(2.3)

Заметим, что формула (2.3) совпадает с выражением для количества информации по Хартли (рисунок 2.2). Таким образом, количество информации по Хартли можно считать частным случаем количества информации по Шеннону, когда события равновероятны и независимы.

Рисунок 2.2 – Ральф Винтон Лайон Хартли (англ. Ralph Vinton Lyon Hartley, 1888 – 1970)

Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации в сообщении из b элементов может быть представлено как произведение общего числа элементов на энтропию источника

.

Как отмечалось, энтропия максимальна, если вероятности сообщений или символов, из которых они составлены, одинаковы. Такие сообщения несут максимально возможную информацию. Если же сообщение имеет меньшую энтропию, количество находящейся в нем информации падает, а поскольку размер сообщения может оставаться прежним, говорят о его избыточности.

Различают два вида избыточности – абсолютную и относительную.

Абсолютная избыточность r_abs находится в виде разности между максимально возможной и действительной энтропией сообщения:

.

(2.4)

Относительная избыточность находится как отношение абсолютной избыточности к максимальной энтропии и называется коэффициентом избыточности источника сообщений:

.

(2.5)

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми элементами (памяти источника), так и от вероятности отдельных элементов алфавита источника. Если источник без памяти (последовательно передаваемые элементы независимы) и все элементы равновероятны, то и коэффициент избыточности .

Если в единицу времени источник генерирует в среднем элементов ( – скорость выработки элементов источников), то количество информации, создаваемое источником в единицу времени

,

(2.6)

где – средняя длительность одного элемента.

Характеристику называют информационной производительностью дискретного источника информации.

Дата добавления: 2015-07-02