Количество и единицы измерения информации

Определить понятие количество информации довольно сложно.

В решении этой проблемы существ уют два подхода. Исторически

они возникли почти одновременно. В конце 40-х годов 20 века один

из основоположников кибернетики американский математик Клод

Шеннон развил вероятностный подход к измерению количества

информации, а работы по созданию ЭВМ привели к объемному

подходу.

Вероятностный подход

Рассмотрим передачу сообщения по каналу связи, представляю-

щего собой буквы некоторого алфавита (n символов). Вероятность

появления в сообщении разных символов различна. Обозначим ве-

роятность появления i-го символа через pi, i=1, 2,..., n. За количест-

во информации, приходящейся на один символ i выбирается вели-

чина log (1/p i). Сложив количество информации для всех n симво-

лов и, разделив на n, получим среднее количество информации, пе-

редаваемой одним символом.

Этот подход связан с понятием энтропии, как меры неопределен-

ности. Неопределенность совокупность случайных событий из n-

возможных можно получить усреднением по всем событиям:

H p p i i

i

n

log2

В случае равной вероятности событий p

n i

,

i=1, 2,..., n, H

n n

n

i

n 1 1

2 2

log log.Эта формула впервые пред-

ложена Хартли в 1928 году. При n=2 и p1 p2 0..5 I=H=1.

Чем больше разнообразие состояний объекта, тем больше его н е-

определенность, а, следовательно, и энтропия. При таком подходе

за единицу измерения количества информации принимается 1 бит –

количество информации, получаемое в результате опыта, имею-

щего только два возможных исхода.

Объемный подход

В двоичной системе счисления знаки 0 и 1 будем называть би-

тами (от английского BInary digiTs – двоичные цифры). Отметим,

что создатели компьютеров отдают предпочтение именно двоичной

системе счисления потому, что, в техническом устройстве наиболее просто реализовать два противоположных физических состояния. В компьютере бит является наименьшей возможной единицей инфор-мации. Объем информации, записанной двоичными знаками в памя-ти компьютера или на внешнем носителе, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом невозможно нецелое число битов. Для удобства использования введены и более крупные единицы информации. 1 байт = 8 бит, 1 килобайт = 1024 байт, 1 мегабайт = 1024 килобайта и т.д. При та-ком подходе за единицу измерения количества информации прини-мается 1 бит – количество информации, предаваемое одним двоич-ным символом.

Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Если некоторое сообщение допускает измеримость количества ин-формации в обоих смыслах, то они не обязательно совпадают, при этом вероятностное количество информации не может быть боль-ше объемного.

При измерении информации, передаваемой по каналам связи, мера информации Шеннона является наилучшей. Однако при оцен-ке информативности текстов, алгоритмов, отдельных высказываний эта мера не пригодна.

Дата добавления: 2014-01-06