Характеристики непрерывных источников

Любой источник информации создает случайный выход: если выход известен точно, его не надо передавать. Источник дискретной информации с алфавитом из символов выдает последовательность символов из алфавита. Так, компьютеры и устройства хранения информации, такие как магнитные или оптические диски, имеют дискретный выход. Пусть для каждого символа алфавита задана вероятность выбора, где. Возьмем две математические модели дискретных источников. Символы выходной последовательности дискретного источника без памяти (ДИБП) статистически независимы друг от друга. Если выходные символы дискретного источника статистически взаимосвязаны, как, например, в тексте на русском или другом языке, можно построить стационарную модель. Совместные вероятности двух последовательностей дискретного стационарного источника: и, длины одинаковы при и любых сдвигах.

Характеристики дискретных источников

Количество информации в событии относительно события равно

(2.1)

где - собственная (априорная) вероятность , - вероятность при условии, что известно. Если и статистически независимы, и . То есть, независимые события информации друг о друге не несут. Используя (2.1), можно показать, что количество информации, доставляемое относительно , равно таковому, доставляемому относительно , то есть . Взаимная информация между парой событий может быть и .

Согласно (2.1), собственная информация события :

(2.2)

дает количество информации в или в любом другом , однозначно с ним связанным (). Единица измерения информации зависит от выбора основания логарифма. При () эта единица – бит (нат - натуральная единица). Чем вероятнее событие, тем меньше информации в нем. Если возможно лишь событие (), то .

Пример 2.1.1. Пусть дискретный источник равновероятно выдает двоичную цифру или каждые секунд. Количество информации, доставляемое цифрой, (бит), Пусть последовательные цифры на выходе источника статистически независимы, то есть источник не имеет памяти. Всего есть возможных битовых блоков источника, каждый – с вероятностью и длительностью . Собственная информация блока за время равна (бит).

Определим условную собственную информацию

(2.3)

где - собственная информация события при известном .

Комбинируя (2.1), (2.2) и (2.3), получим

(2.4)

Средняя взаимная информация случайных величин и в расчете на символ

(2.5)

где и - объемы алфавитов и , соответственно. Можно показать, что , и для статистически независимых и .

Средняя условная собственная информация - условная энтропия,

(2.6)

где - неопределенность в значениях (дополнительная информация, содержащаяся в ) после наблюдения .

Энтропия источника равна его средней собственной информации на символ,

(2.7)

Из (2.1), (2.5), (2.6) и (2.7) следует

(2.8)

Из (2.8) и следует и , где равенство верно, если статистически не зависит от . Величина равна уменьшению среднего значения неопределенности значений () за счет измерения (). Пусть - длительность символа источника. Производительность источника - среднее количество информации, выдаваемое им в единицу времени,

(2.9)

Пример 2.1.2. Возьмем источник, выдающий последовательность независимых символов: - с вероятностью , и - с вероятностью . Энтропия двоичного источника . Максимальное значение бит (при равновероятных символах), а минимальное - (если возможна передача лишь одного символа).

Для источника с объемом алфавита выразим

.

Так как (), то , или

(2.10)

Наибольшее значение: (информационная емкость алфавита источника), достигается, если символы равновероятны: , . Для передачи количества информации от источника с энтропией требуется символов, а от источника с энтропией - минимальное их число

(2.11)

где - допустимая степень сжатия сообщений, . Величина называется избыточностью источника.

Пусть есть блок из случайных величин с совместной вероятностью . Пусть , , имеет алфавит , , с объемом . Энтропия этого блока, согласно (2.7),

(2.12)

Так как , из (2.12) следует

(2.13)

Так как , где и , из (2.13) имеем:

(2.14)

где равенство верно, если не зависят друг от друга.

Аналоговый источник выдает непрерывный сигнал - реализацию случайного непрерывного процесса . Так, в радиовещании источник выдает звуковой сигнал (речь или музыку), а в телевизионном вещании, кроме звука, - и подвижное изображение. Стационарный процесс с ограниченной полосой спектра по частоте представим рядом Котельникова :

(2.15)

где - непрерывные отсчеты , взятые со скоростью Найквиста 1/с, - верхняя граница спектра процесса . Разложение (2.15) заменяет аналоговый источник эквивалентным с дискретным временем. Квантование отсчетов рядом дискретных значений вносит случайные искажения в точность представления отсчетов - шум квантования .

Пусть и - случайные непрерывные величины с совместной плотностью вероятности и собственными плотностями вероятности и . Средняя взаимная информация величин и :

(2.16)

Сообщение () непрерывного источника квантуем с шагом . Получим дискретную величину - множество возможных значений отсчетов , с энтропией (см. (2.7)) . Далее, , где - энтропия непрерывного источника. В отличие от дифференциальная энтропия конечна по величине, но не имеет смысла собственной информации,

(2.17)

Пример 2.2.1. Из(2.17)выразим дифференциальную энтропию гауссовской величины с распределением , средним и дисперсией :

(2.18)

При заданной дисперсии среди случайных непрерывных величин с разными законами распределения наибольшую дифференциальную энтропию имеет гауссовская величина .

Условная дифференциальная энтропия случайной непрерывной величины при заданной :

(2.19)

Учитывая (2.16), (2.17) и (2.19), , найдем

(2.20)

Дата добавления: 2014-01-07