Дискретный канал с помехами. Бинарные каналы с помехами

Вопрос 2 Дискретный канал с помехами. Скорость передачи информации и пропускная способность при наличии помех

Обратная теорема Шеннона.

Невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником превышает пропускную способность канала,т.е.

I(X) > C.

Таким образом, теоремы Шеннона для канала передачи информации утверждает, что при выполнении условия (14) скорость передачи информации может быть в принципе сколько угодно приближена к пропускной способности канала. Это может быть обеспечено соответствующим кодированием сигналов.

При наличии помех в канале нарушается однозначность между входным и выходным алфавитами. Одному сигналу на входе может соответствовать различные выходные сигналы.

Вход Выход

Рис.1. Информационная модель дискретного канала с помехами.

Вследствии случайного характера воздействия помехи нельзя априорно точно установить, какой сигнал мы получим на приемной стороне при посылке определенного сигнала, поэтому вероятностный характер такого преобразования и описан с помощью вероятностных характеристик. Для оценки канала с помехами используется матрица переходных вероятностей.

Р =	Р11	...	Р1n
Р21	...	Р2n
...	...	...
Рn1	...	Рnn

Где Р_ij есть условная вероятность преобразования i-го входного сигнала в j-тый выходной сигнал. Согласно теории вероятности:

Дискретный канал по которому передается только два элементарных сигнала называется бинарным и в этом случае матрица переходных вероятностей примет следующий вид:

Р =	P11	P12
P21	P22

Если все вероятности правильной передачи сигнала равны Р₁₁=Р₂₂, соответственно все вероятности искажений тоже равны, то данный сигнал называется симметричным. Матрицу принято записывать следующим образом:

Р =	P	q
Q	p

где р вероятность правильного приема, q - вероятность искажения.

Канал связи можно представить как систему с двумя алфавитами: алфавит Х_i на входе канала и алфавит Y_j на выходе канала. Передача сообщений в этой системе представляет собой событие (X_iY_j), в этом случае энтропия канала представляется как система со сложным сообщением.

При условии, что объемы входного и выходного афавитов совпадают и равны М.

Используя преобразования Байеса, можно представить

Тогда получаем, что

Где Н(Х) – энтропия входного алфавита.

Н(Y/X) – условная энтропия появления сигнала Y на выходе канала при условии, что на вход был подан сигнал с источника Х.

Проведя анализ последнего выражения можно сформулировать методику оценки количества информации на выходе канала связи.

Если количество передаваемой информации равняется H(x), а количество принятой информации равняется H(y), то условная энтропия H(x /y), есть то количество информации, которое надо добавить к полученному (H(y)), чтобы получить энтропию канала. Следовательно, H(X/Y) можно рассматривать как то количество информации, которое обусловлено воздействием помехи на сигналы.

Таким образом, чтобы найти количество информации, содержащееся в принятой совокупности элементов Y относительно переданных Х, необходимо из количества информации, передаваемой источником сообщений Н(Х), вычесть потерю информации, обусловленную помехой

(7)

Данное выражение определяет среднее количество информации на элемент, правильно передаваемый по каналу связи в условиях воздействия помехи.

Для удобства данная форма может быть приведена к следующему виду:

(8)

Кроме того, данное выражение приводится к следующему виду:

(9)

Для определения количества информации на выходе дискретного канала с помехами необходимо использовать матрицы вероятностей входных элементов Р(Х), выходных элементов Р(Y) и матрицу переходных вероятностей Р(Y/X) или обратных вероятностей.

I(YX)- это среднее количество информации на один элемент, содержащееся в выходной последовательности Y относительно входной последовательности X.

Поскольку

0 < H(X/Y) < H(X)

(безусловная энтропия никогда не превосходит безусловную), то

0 < I(XY) < I(X).

Крайнее значение слева имеет место, если символы на входе и выходе независимы (очень сильные помехи или имеет место обрыв канала), а крайнее значение справа – при отсутствии помех.

Дата добавления: 2014-01-13