Случайные переменные

Для напоминания

Пусть случайная переменная Х(А) представляет функциональное отношение между случайным событием А и действительным числом. Для удобства записи обозначим случайную переменную через X, а ее функциональную зависимость от А будем считать явной. Случайная переменная может быть дискретной или непрерывной. Функция распределения F_X(x) случайной переменной X описывается выражением

F_X(x) = P(X £ x), (1)

где Р(Х £ x) — вероятность того, что значение, принимаемое случайной переменной X, меньше действительного числа х или равно ему. Функция распределения F_X(x) имеет следующие свойства:

1. 0 £ F_X(x)£ 1

2. F_X(x₁) £ F_X(x₂), если х₁ £ х₂

3. F_X(-∞) = 0

4. F_X(+∞) = 1

Еще одной полезной функцией, связанной со случайной переменной X, является плотность распределения вероятности (плотность вероятности), которая записывается следующим образом:

. (2, а)

Как и в случае функции распределения, плотность вероятности — это функция действительного числа х. Название "функция плотности" появилось вследствие того, что вероятность события x₁ £ X £ x₂ равна следующему:

(2, б)

Используя уравнение (2, б), можно приближенно записать вероятность того, что случайная переменная X имеет значение, принадлежащее очень узкому промежутку между х и х + Δх:

(2, в)

Таким образом, в пределе при Δх®0, мы можем записать следующее:

Р(Х=х) = p_X(х)dх. (2, г)

Плотность вероятности имеет следующие свойства:

·.

·.

Для обобщения формулы Шеннона разобьем интервал возможных состояний случайной непрерывной величины на равные непересекающиеся отрезки и рассмотрим множество дискретных состояний с вероятностями. Тогда энтропию можно вычислить по формуле:

В пределе при с учетом соотношения:

Получим

Первое слагаемое в правой части соотношения имеет конечное значение, которое зависит только от закона распределения непрерывной случайной величины и не зависит от шага квантования. Оно имеет точно такую же структуру, как энтропия дискретного источника.

Поскольку для определения первого слагаемого используется только функция плотности вероятности, т.е. дифференциальный закон распределения, она получила название дифференциальной или приведенной энтропии непрерывного источника информации (непрерывного распределения случайной величины)и целиком определяет информативность сообщений, обусловленных статистикой состояний их элементов. Таким образом, дифференциальная или приведенная энтропия равна

Величина зависит только от выбранного интервала, определяющего точность квантования состояний, и при она постоянна.

Энтропия и количество информации зависят от распределения плотности вероятностей

В теории информации большое значение имеет решение вопроса о том, при каком распределении обеспечивается максимальная энтропия?

а) Если единственным ограничением для случайной величины является область ее возможных значений, то максимальной энтропией обладает равномерное распределение вероятностей в этой области.

Найдем значение энтропии, когда состояния элементов распределены внутри интервала их существования по равномерному закону, т.е

Дисперсия равномерного распределения, поэтому. С учетом этого можно записать

б) Если ограничения на область значений непрерывной случайной величины отсутствуют, но известно, что дисперсия ее ограничена, то максимальной энтропией обладает нормальное распределение величины.

Можно показать, что при заданной дисперсии:

наибольшей информативностью сообщение обладает только тогда, когда состояния его элементов распределены по нормальному закону:

Так как дисперсия определяет среднюю мощность сигнала, то отсюда следуют практически важные выводы.

Передача наибольшего количества информации при заданной мощности сигнала (или наиболее экономичная передача информации) достигается при такой обработке сигнала, которая приближает распределение плотности вероятности его элементов к нормальному распределению.

В то же время, обеспечивая нормальное распределение плотности вероятности элементам помехи, обеспечивают ее наибольшую “информативность”, т.е. наибольшее пагубное воздействие на прохождение сигнала. Значение энтропии, когда состояния элементов источника сообщений распределены по нормальному закону, определяется из выражения:

Сравнивая между собой сообщения с равномерным и нормальным распределением вероятностей при условии, получаем:

Это значит, что при одинаковой информативности сообщений средняя мощность сигналов для равномерного распределения их амплитуд должна быть на 42% больше, чем при нормальном распределении амплитуд.

Дата добавления: 2013-12-12