Тема 4. Меры неопределенности дискретных множеств

Задача 4.1.

Двоичный источник задан матрицей:

.

Определить выражение для энтропии источника и построить график ее зависимости от .

Задача 4.2.

Дискретный источник задан матрицей:

.

Определить при каких значениях энтроприя максимальна.

Задача 4.3.

Вероятности появления сообщений дискретного ансамбля равны

, , .

При этом условные вероятности появления сообщений ансамбля

;

; ;

; .

Вычислить энтропию ансамбля .

Задача 4.4.

Сигнал формируется в виде двоичного кода с вероятностями появления символов «1» и «0» соответственно , .

Заданы следующие условные вероятности:

─ вероятность того, что появится тот же символ;

─ вероятность того, что появится другой символ.

Найти .

Решение.

Используя общую формулу, находим искомую энтропию

.

Задача 4.5.

Определить энтропию системы, которая описывается дискретной случайной величиной со следующим рядом распределения:

, .

Задача 4.6.

Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 27 внешне неотличимых монет найти одну фальшивую, более легкую.

Задача 4.7.

Записать соотношения между:

, , ,

для случаев, когда:

а) и независимы;

б) и зависимы.

Задача 4.8.

Дано произведение ансамблей:

.

Являются ли ансамбли независимыми?

Найти , , , .

Задача 4.9.

Дано произведение ансамблей:

.

Являются ли ансамбли независимыми?

Найти , , , .

Задача 4.10.

Определить неопределенность выбора из последовательности 8 равновероятных статистически независимых десятичных цифр.

Задача 4.11.

Определить энтропии , , , , если задана матрица вероятных состояний системы, объединяющей источники и :

.

Задача 4.12.

Задано произведение ансамблей сообщений:

.

Определить частную энтропию сообщения и частную энтропию сообщения при условии, что известно сообщение .

Задача 4.13.

Определить энтропию сообщения из пяти букв, если общее число букв равно 32, а все сообщения равновероятны.

Дата добавления: 2014-12-26