Количество информации и единицы ее измерения

Веществу можно приписывать довольно большое количество характеристик: массу, заряд, объем и т. д. Для информации имеется не столь большой, но достаточно представительный набор характеристик. У отдельных характеристик информации имеются единицы измерения, что позволяет некоторой ее порции приписывать числа - количественные характеристики информации.

С практической точки зрения информация всегда представляется в виде сообщения. Однако между количеством информации и длиной сообщения нет однозначной зависимости. Как вес груза не определяет его ценность, так и длительность сообщения не определяет то количество информации, которое содержит в себе это сообщение. Каким же образом определяется количество информации в сообщении?

На сегодняшний день наиболее известны три способа измерения информации: объемный, энтропийный и алгоритмический.

Объемный – это самый простой и грубый способ измерения информации (поэтому количественную оценку информации называют - объемом информации).

Объем информации в сообщении - это количество символов в сообщении.

Поскольку сообщение, например, одно и то же число может быть записано разными способами (с использованием разных алфавитов):

"двадцать пять"

XXV,

то этот способ чувствителен к форме представления (записи) сообщения.

. Энтропийный подход к информации - как к мере уменьшения неопределенности знания позволяет количественно измерять информацию. Получатель информации (сообщения) имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие Общая мера неопределенности (энтропия) характеризуется некоторой зависимостью от этих вероятностей Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – выпадет "орел" или "решка". Можно говорить, что события равновероятны, если при возрастающем числе опытов число выпадений "орла" и "решки" постепенно сближаются.

Перед броском существует неопределенность нашего знания (возможны два события), и как упадет монета - предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, "орел"). Это сообщение приводит к уменьшению неопределенности нашего знания в два раза, т.к. из двух возможных равновероятных событий реализовалось одно.

В окружающей действительности чаще встречаются ситуации, когда может произойти большее, чем два, число равновероятных событий. Так, при бросании шестигранного игрального кубика – существует 6 равновероятных событий.

Чем больше начальное число возможных равновероятных событий, тем больше начальная неопределенность нашего знания и, соответственно, тем большее количество информации будет содержать сообщение о результатах опыта.

За меру количества информации (I) в сообщении принимается величина изменения неопределенности Н (энтропии), вызванная этим сообщением.

I = Н = Н _н – Н _к

Если после получения сообщения конечная неопределенность Н _к обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равной начальной неопределенности I = Н _н. Иными словами начальная неопределенность Н _н – это мера недостающей информации.

Существует множество ситуаций, когда возможные события имеют различные вероятности исхода. Например, если у монеты одна сторона тяжелее другой, то при ее бросании вероятности выпадения "орла" и "решки" будут различаться.

Неопределенность события Н _н., имеющего N возможных исходов с различными вероятностями, согласно формуле Шеннона, равна:

Н _н = -

Дата добавления: 2014-10-31