Рассмотренная выше оценка информации основана на предположении о равновероятности всех знаков алфавита

*********************************************************

В общем случае каждый из знаков появляется в сообщении с различной вероятностью.

Пусть на основании статистического анализа известно, что в сообщении длины n знак x_i появляется n_i раз, т.е. вероятность появления знака:

Все знаки алфавита составляют полную систему случайных событий, поэтому:

Число всех возможных сообщений длины n, в которых знак x_i входит n_i раз, где i=1, 2, 3,...,m, определяется как число перестановок с повторениями из n элементов, спецификация которых {n₁, n₂,..., n_m}. Поэтому количество возможных сообщений определяют по формуле:

Например, план застройки улицы 10 домами, среди которых 3 дома одного типа, 5 другого и 2 третьего, можно представить

Количество информации можно найти по формуле:

I = log N = log n! - (log n₁!+log n₂!+...+log n_m!).

Для достаточно больших n это выражение можно преобразовать с помощью приближенной формулы Стирлинга:

log n! ≈ n(ln n - 1).

Воспользовавшись формулой Стирлинга и соотношением, получают:

Переходя к вероятностям и произвольным основаниям логарифмов, получают формулы Шеннона для количества информации и энтропии:

Дата добавления: 2014-12-17