Энтропийное значение случайной величины

Анализ дезинформационных действий случайных помех с разным законом распределения вероятности привел Шеннона к выводу, что вносимая помехой дезинформация определяется не только мощностью (СКО) этой помехи, но и зависит от вида закона распределения помехи. Это положение Шеннон сформулировал своей 16-й теореме, которая утверждает, что если помеха в вероятностном смысле не зависит от сигнала, то независимо от закона распределения и мощности сигнала дезинформирующее действие помехи определяется ее энтропией:

.

Количество информации определяется как разность энтропий:

,

где Н () – это значение измеряемой энтропии до измерения, Н ( / ) – это неопределенность действующего значения в интервале неопределимости вокруг получаемого после измерения показания , то есть энтропия погрешности.

При практическом использовании данных выражений используют понятие энтропийного значения погрешности, формальным определением которой является соотношение

,

а также квант неточности измерения

.

Отношение энтропийного значения к случайной величине называется энтропийным коэффициентом

,

который характеризует закон распределения случайной величины. Так, для равномерного закона распределения k = , для нормального закона распределения k = . Данный коэффициент может быть использован для учета при необходимости закона распределения, отличающегося от нормального закона распределения.

Дата добавления: 2014-12-16