Дифференциальная энтропия

Дифференциальная энтропия. Эпсилон энтропия. Эпсилон производительность

Ортогональность и противоположность сигналов

Представление сигнала гармоническими функциями имеет следующие преимущества: простое математическое описание; инвариантность к линейным преобразованиям, т. е. если на входе линейной цепи действует гармоническое колебание, то и на выходе ее также будет гармоническое колебание, отличающееся от входного только амплитудой и начальной фазой; как и сигнал, гармонические функции периодические и имеют бесконечную длительность; техника генерирования гармонических функций достаточно проста. Если разложение входного сигнала по ортогональной системе тригонометрических функций известно, то выходной сигнал может быть получен как сумма независимо преобразованных цепью входных гармоник.

Примем (пока без обоснования) в качестве меры неопределенности случайного объекта А с конечным множеством возможных состояний А1,...,Аn с соответствующими вероятностями P₁,P₂...P_n величину

H(A) = H({p_i}) = -∑ p_i⋅log(p_i)

которую и называют энтропией случайного объекта А (или распределения { }. Убедимся, что этот функционал обладает свойствами, которые вполне естественны для меры неопределенности.

1. Н(p₁...p_n)=0 в том и только в том случае, когда какое-нибудь одно из {p_i } равно единице (а остальные — нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна. Это свойство проверяется непосредственно.

2. Н(p₁...p_n) достигает наибольшего значения при p₁=...p_n=1/n т.е. в случае максимальной неопределенности. Действительно, вариация Н по p_i при условии ∑p_i = 1 дает p_i = const = 1/n.

3. Если А и В — независимые случайные объекты, то H(A∩B) = H({p_iq_k}) = H({p_i}) + H({q_k}) = H(A) + H(B). Это свойство проверяется непосредственно.

4. Если А и В — зависимые случайные объекты, то H(A∩B) = H(A) + H(B/A) = H(B) + H(A/B), где условная энтропия H(А/В) определяется как математическое ожидание энтропии условного распределения. Это свойство проверяется непосредственно.

5. Имеет место неравенство Н(А) > Н(А/В), что согласуется с интуитивным предположением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной.

Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности.

Обобщение столь полезной меры неопределенности на непрерывные случайные величины наталкивается на ряд сложностей, которые, однако, преодолимы. Прямая аналогия

-∑p_k⋅log(p_k) → ∫p(x)⋅log(p(x))dx

не приводит к нужному результату: плотность p(x) является размерной величиной (размерность плотности p(x) обратно пропорциональна x а логарифм размерной величины не имеет смысла. Однако положение можно исправить, умножив p(x) под знаком логарифма на величину К, имеющую туже размерность, что и величина х:

-∑p_k⋅log(p_k) → ∫p(x)⋅log(K⋅p(x))dx

Теперь величину К можно принять равной единице измерения х, что приводит к функционалу

h(X) = -∫p(x)⋅log(p(x))dx,

который получил название «дифференциальной энтропии». Это аналог энтропии дискретной величины, но аналог условный, относительный: ведь единица измерения произвольна. Запись (3) означает, что мы как бы сравниваем неопределенность случайной величины, имеющей плотность p(x), с неопределенностью случайной величины, равномерно распределенной в единичном интервале. Поэтому величина h(X) в отличие от Н(Х) может быть не только положительной. Кроме того, h(X) изменяется при нелинейных преобразованиях шкалы х, что в дискретном случае не играет роли. Остальные свойства h(X) аналогичны свойствам Н(Х), что делает дифференциальную энтропию очень полезной мерой.

Непрерывные сигналы воспринимаются с ограниченной точностью. Пусть Х - точный сигнал, его плотность вероятности w(x). Сигнал, воспроизводимый любой аппаратурой, отличается от исходного сигнала. То есть, на выходе аппаратуры имеем другой сигнал Y, отличный от X. Критерием близости двух сигналов X и Y является функционал

, (2.17)

где h(x,y) - некоторая весовая функция, имеющая природу расстояния.

Функционал F по своему виду представляет собой математическое ожидание функции h(x,y) случайных аргументов x и y. Если подобрать подходящим образом эту функцию, то в качестве критерия близости двух сигналов можно использовать условие , где – некоторая наперед заданная величина. Обычно используют среднеквадратический критерий

Сигнал Y содержит информацию относительно X в соответствии с выражением

Энтропия H(X) определяется функцией w(x), которая является заданной. Варьируя функцию w(x/y) можно в принципе добиться минимального значения величины при заданных требованиях к точности .

_, при ограничении

Таким образом, ε-энтропия величины X называется минимальное количество информации в одной случайной величины Y относительно другой X, при котором удовлетворяется заданное требование к верности воспроизведения величины X.

Эпсилон-энтропия —это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса X(t), которое необходимо для воспроизведения этого сигнала с заданной среднеквадратической погрешностью

Пример. Найти ε-энтропию источника информации, ансамбль состояний которого описывается нормальным распределением.

Решение. ε-энтропия определяется по формуле

_,

но условная энтропия H(X/Y) полностью определяется помехой, поэтому

Энтропия сигнала равна , так как сигнал передается по нормальному закону. Помеху определим из наихудших условий, когда она имеет максимальное воздействие. Помеха максимальна, если распределена по нормальному закону

,

где - мощность сигнала, - мощность помехи.

Дата добавления: 2015-05-10