Формула Шеннона

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения «орла» и «решки» будут различаться.

Рассмотрим еще один пример: в коробке имеется 50 шаров из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем вероятность попадания черного.

Сделанное нами качественное заключение о вероятностях событий в рассмотренном примере – интуитивно понятно. Однако вероятность может быть выражена количественно.

В нашем примере: обозначим р_ч – вероятность попадания при вытаскивании черного шара, р_б - вероятность попадания при вытаскивании белого шара; тогда: р_ч = 10/50 = 0.2, р_б = 40/50 = 0.8; отсюда – вероятность попадания белого шара в 4 раза больше, чем черного.

Из рассмотренного примера можно сделать вывод: если N – это общее число возможных исходов какого-то процесса (вытаскивания шара, получения оценки и т.д.), и из них интересующее нас событие (вытаскивание белого шара, получение пятерки) может произойти K раз, этого события равна K/N.

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Формулу для вычисления количества информации для событий с различными вероятностями предложил К. Шеннон в 1948 году. В этом случае количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем выражается формулой:

(2).

В нашем примере: количество информации в сообщении о попадании белого шара и черного шара:

бит;

бит.

Удобнее в качестве меры количества информации пользоваться не значением i, а средним значением количества информации, приходящейся на реализацию одного из возможных событий:

(3).

где I — количество информации,

N — количество возможных событий,

p_i — вероятности отдельных событий.

В нашем примере: количество информации, которое мы получим в сообщении о попадании белого шара или черного шара (после реализации одного из возможных событий):

Для частного, но широко распространенного и рассмотренного выше случая, когда события равновероятны (р_i = I/N), величину количества информации I можно рассчитать по формуле:

(4).

В рассмотренном выше примере, изменив условия следующем образом: в коробке лежат 50 пронумерованных шаров одинакового цвета; количество информации, которое мы получим при сообщении “достали шар с номером 25” определим по формуле

I = Iog₂50 = 5,64386 бит.

Таким образом, когда события равновероятны, мы получим большее количество информации (5,64386 бит), чем когда события неравновероятны (2,282892 бит).

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Примеры:

1. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

Дано: N=32, K=4

Решение:

1. Найдем вероятность события – попал красный клубок шерсти: р_к=4/32=1/8

2. По формуле (2) определим количество информации, которое несет сообщение «достали красный клубок шерсти» бит.

Ответ: сообщение «достали красный клубок шерсти» несет 3 бита информации.

2. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

Дано: N=64, i =4

Решение:

1. Найдем вероятность события – попал белый карандаш: р_б=К/64

2. По формуле (2) составим следующее выражение

3. По определению логарифма: 2⁴=64/К -> 16K=64 -> K=4

Ответ: в коробке с цветными карандашами 4 белых карандаша.

Дата добавления: 2014-01-11