Формула Хартли

Единица измерения количества информации.

Для количественного определения любой величины необходимо определить единицу измерения. Для определения количества информации необходимо также ввести единицу измерения. За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее степень неопределенность в два раза. Такая единица названа бит. Сообщение, уменьшающее степень неопределенности в два раз, несет 1 бит информации. Сообщение об одном событии из двух равновероятных несет 1 бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий. Тогда количество информации, заключенное в этом сообщении, – i бит и число N – количество событий связаны формулой: 2ⁱ = N.

Данная формула является показательным уравнением относительно неизвестной i. Из математики известно, что решение такого уравнения имеет вид:

(логарифм от N по основанию 2). (1)

Если N равно целой степени двойки (2,4,8 и т.д.), то такое уравнение можно решить в уме. В противном случае, количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов.

Формула (1) является частным случаем формулы Р. Хартли, которая в общем случае имеет вид:

Здесь Н – количество информации, k – коэффициент пропорциональности, m – число возможных выборов, a – основание логарифма. Чаще всего принимают k = 1 и a = 2.

Примеры.

1. При бросании монеты сообщение о результатах (выпал «орел») несет 1 бит информации. Оба варианта равновероятны. 2 ⁱ =2 следовательно i = 1 бит.

2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере?

Дано: N = 32 (количество событий)

Решение: по формуле определяем i – количество информации

, по определению логарифма получаем i = 5

Ответ: сообщение несет 5 бит информации.

3. Каково было количество возможных событий, если после реализации одного из них мы получили количество информации равное 3 бит? 7 бит?

а) Дано: i = 3 (количество информации)

Решение: , по определению логарифма (2³ = 8) получаем N = 8

Ответ: было 8 возможных событий.

б) Дано: i = 7 (количество информации)

Решение: , по определению логарифма (2⁷ = 128) получаем N =128

Ответ: было 128 возможных событий.

Дата добавления: 2014-01-11