Энтропия, избыточность и расстояние единственности

Пусть — случайная величина, распределение которой на множестве задается вероятностями

Разумеется, и для всех. Покажем, что величина

хорошо подходит для измерения количества информации, содержащейся в сообщении о том, что произойдет событие. В основании логарифма число 2 можно заменить на любое другое, но, как будет видно ниже, двойка лучше всего отражает наше интуитивное понимание информации. В случае, когда в основании логарифма стоит 2, единица информации называется бит.

Пусть, т.е.; тогда. Теперь событие достоверно, и сообщение о том, что оно произойдет, не несет никакой информации (как, например, фраза "Солнце завтра снова взойдет"). Это прекрасно соответствует формуле (5.1), поскольку.

Теперь рассмотрим событие, происходящее с вероятностью, типа рождения ребенка определенного пола. Тогда. В предположении, что дети обоих полов рождаются с одинаковой вероятностью, ясно, что сообщение о поле новорожденного дает ровно один бит информации.

Например, 1 означает рождение мальчика, а 0 — рождение девочки. Это вновь согласуется с формулой (5.1), поскольку.

Если некоторое событие происходит с вероятностью, то сообщение о том, что оно происходит, дает два бита информации. Это очевидно в ситуации с четырьмя равновозможными исходами. Каждому из этих исходов можно сопоставить свою двоичную последовательность длины два. С другой стороны, количество информации, которую несет сообщение о событии, происходящем с вероятностью, не должно зависеть от вероятностей других возможных событий. Таким образом, значение, вычисленное по формуле (5.1), вновь согласуется с нашей интуицией. Продолжая подобным образом, получаем, что

Математическое ожидание случайной величины, определенной на множестве, называется энтропией и обозначается либо через, либо через, где.Следовательно,

При принято обозначать, и писать вместо.

Поскольку стремится к при, не возникает проблем с определением функции энтропии при равенстве нулю (или 1) некоторых из вероятностей.

График функции изображен ниже при помощи функции Plot пакета "Matnematica".

p =.;

Entrop[p_] = -p*Log[2, p] - (1 - p)*Log[2, 1 - p];

Plot[Entrop[x], {x, 0, 1}]

Функцию энтропии можно вычислить следующим образом.

MultiEntropy[p_List]:=

p = {1/4, 1/4, 1/4, 1/4};

MultiEntropy[p]

|| 2

Можно дать следующие интерпретации энтропии случайной величины.

• среднее количество информации, которое дает сообщение о значении,

• неопределенность,

• среднее количество битов, необходимое для реализации.

Помня эти интерпретации, можно ожидать, что функция энтропии обладает следующими свойствами.

, т.е. добавление к множеству невозможного события не влияет на неопределенность величины.

для любой перестановки множества, т.е. перенумерование различных событий множества оставляет энтропию неизменной.

, т.е. неопределенность величины максимальна, если все события равновероятны.

, т.е. среднее количество двоичных разрядов, необходимое для описания результата из множества равно числу битов, необходимых при объединении событий и в одно событие, обозначаемое как, плюс число битов, необходимых для того, чтобы различить события и при условии, что событие произошло. Например, если, то и

Можно показать (см. [3]), что функция, определяемая формулой (5.1), — единственная непрерывная функция, удовлетворяющая условию (5.2) и порождающая функцию энтропии, обладающую приведенными выше свойствами.

Дата добавления: 2013-12-12