Основные свойства условной энтропии

Свойство 1. Если ансамбли сообщений А и В взаимонезависимы, то условная энтропия А относительно В равна безусловной этропии А, и наоборот условная энтропия В относительно А равна безусловной этропии В

Доказательство. Если сообщения А и В взаимонезависимы, то условные вероятности отдельных символов равны безусловным:

Так как р (а_i)* р (b_j/a_i) = p (a_i, b_j), то выражение для H(B/A) представим в виде:

подставив в полученное выражение,

получим

так как

Свойство 2: Если ансамбли сообщений А и В настолько жестко статистически связаны, что появление одного из них непременно подразумевает появление другого, то их условные энтропии равны нулю:

Доказательство. Воспользуемся свойствами вероятностей, согласно которым при полной статистической зависимости р(b_j/a_i) = 1, слагаемые р (b_j/a_i)*log(р (b_j/a_i) в выражении для энтропии также равны нулю. Если нулю равны отдельные слагаемые, то и сумма равна нулю, откуда

Выводы:

1. Энтропия сообщения, составленного с учетом неравновероятности символов меньше, чем энтропия сообщения, составленного из равновероятных символов.

2. Энтропия сообщения, составленного с учетом взаимозависимости символов, меньше, чем энтропия того же сообщения, составленного из независимых символов.

3. Максимальную энтропию имеют сообщения, составленные из равновероятных и независимых символов, т. е. те, у которых условная энтропия равна нулю, а вероятность появления символов алфавита p_i=1/N.

Дата добавления: 2014-01-04