Формула Шеннона

Количество информации, получаемое при наступлении одного из ожидаемых событий, вычисляется по формуле Шеннона:

где I – количество информации (в битах) или энтропия до наступления

события;

n – общее количество ожидаемых событий;

pi – вероятности отдельных событий.

Задача. В мешке вперемешку хранятся 30 белых, 15 красных и 15 синих шаров. Наш помощник наугад достаёт один из шаров. Сколько информации мы получим, если узнаем, какого цвета вынутый шар?

Решение:

1) всего шаров: 30 + 15 + 15 = 60

2) вероятности вынимания шаров:

3) количество информации по формуле (1):

Округлив полученный ответ до 2 битов, мы можем сказать, что для выяснения, какого цвета был вынутый шар, нам в общем случае достаточно задать два вопроса с ответами да/нет. То, что ответ равен не 2, а 1,5 бита указывает нам, что в половине случаев достаточно будет задать один вопрос: «Это белый шар?» (задаём вопрос именно о белом шаре, так как вероятность достать белый выше – белых шаров больше).

Дата добавления: 2014-01-07