Математическое определение

Условная энтропия

Условная собственная информация и условная энтропия, энтропия естественного языка, избыточность естественного языка. Сжатие источника и омофонический шифр как способ маскировки статистики языка.

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а следовательно и энтропия) очевидно меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть вероятности двухбуквенных сочетаний):

где i — это состояние, зависящее от предшествующего символа, и pi (j) — это вероятность j, при условии, что i был предыдущим символом.

Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.

Математически данная величина определяется как

где — абсолютная энтропия языка, — фактическая энтропия языка.

Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).

Дата добавления: 2015-04-24