Информационные характеристики источников непрерывных сообщений

Лекция 10

Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами.

Циклический избыточный код CRC

Циклический избыточный код CRC (Cyclic Redundancy Check — циклическая избыточная проверка) являются систематическими кодами, предназначенными не для исправления ошибок, а для их обнаружения. Они используют способ систематического кодирования, изложенный выше: «контрольная сумма» вычисляется путем деления x^ru(x) на g(x). Ввиду того, что исправление ошибок не требуется, проверка правильности передачи может производиться точно так же.

Таким образом, вид полинома g(x) задаёт конкретный код CRC. Эти полиномы стандартизированы и имеют следующий вид.:

название кода	степень	полином
CRC-12		x ^12 + x ^11 + x ^3 + x ^2 + x + 1
CRC-16		x ^16 + x ^15 + x ^2 + 1
CRC-CCITT		x ^16 + x ^12 + x ^5 + 1
CRC-32		x ^32 + x ^26 + x ^23 + x ^22 + x ^16 + x ^12 + x ^11 + x ^10 + x ^8 + x ^7 + x ^5 + x ^4 + x ^2 + x + 1

Рассмотрим вопросы, связанные с информативностью и соответствующими характеристиками при передаче непрерывных сообщений (непрерывных функций времени), и выясним, какие особенности имеются в этом случае.

Основные информационные характеристики источников и каналов непрерывных сообщений определяются так же, как и для источников и каналов дискретных сообщений. Формулу для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы для энтропии дискретного источника.

Пусть одномерная плотность распределения вероятностей случайного стационарного процесса X(t) равняется W(x), тогда вероятность того, что X(t) будет находиться в интервале [x_i, x_i +∆x], равняется p_i=W(x_i)*∆x. Если сигнал квантован на L уровней, то энтропия источника непрерывных сообщений на один отсчет

В результате предельного перехода при ∆x→0 получаем величину

которую называют дифференциальной энтропией источника непрерывных сообщений. Дифференциальной- потому что в ней участвует дифференциальный закон распределения W(x).

Скорость передачи информации, пропускную способность и другие основные информационные характеристики источника сообщений и канала передачи определяют через разницу дифференциальных энтропий.

Действительно, найдем, например, взаимную информацию между двумя непрерывными случайными процессами X(t) и Y(t) в произвольный момент времени t.

Считая, что

где W₂(x_i, y_j) - совместимая плотность вероятности X и Y;

p(x_i)=W₁(x_i)*∆x; p (y_j)=W₁(y_j)*∆y,

получаем выражение для взаимной информации между X и Y.

Применив для этого выражения сокращения, а после этого предельный переход, получаем

где h(X) и h(Y) - дифференциальные энтропии на отсчет случайных процессов X(t) и Y(t), а

-- условная дифференциальная энтропия отсчета Х(t) при известном отсчете Y(t).

И

- условная дифференциальная энтропия отсчета Y(t) при известном отсчете Х(t).

Таким образом, взаимная информация является конечной величиной. Отметим, что дифференциальная энтропия не является абсолютной мерой собственной информации, она характеризует только ту часть энтропии непрерывного сообщения, которое определяется видом закона распределения вероятностей W(x). Найдем величину дифференциальной энтропии для конкретных законов распределений вероятностей.

Дата добавления: 2014-01-04