Пример 2. Исходный алфавит включает символы Z1 и Z2 с вероятностями 0,8 и 0,2 (рис.1)

Исходный алфавит включает символы Z₁ и Z₂ с вероятностями 0,8 и 0,2 (рис.1). Согласно процедуре Шеннона, чтобы повысить эффективность кодирования следует ввести новый алфавит, символы которого обозначают сочетанием исходных символов Z_i.

Рисунок 1 Расширение алфавита источника для повышения эффективности кодирования па Шеннону

На первом шаге новые символы a_i соответствуют парам z_iz_j, на втором символы b_m отвечает тройкам z_iz_jz_l и т.д. Очевидно, что с каждым шагом расширения алфавита мы все больше «дробим» вероятности так, что суммарная вероятность в группах может приближаться к отрицательным степеням двойки (здесь шаг за шагом мы движемся к выполнению условия ). С другой стороны расширение алфавита существенно усложняет код (поэтому на практике такой прием распространения не получил).

В заключение стоит сказать, что код Шеннона отличается так называемым свойством префиксности: ни одна кодовая комбинация символа не входит как начальный участок в код другого символа. Если при построении кода условие префиксности не выполняется, то коды отдельных символов невозможно разделить в общем потоке.

Контрольные вопросы.

1. Поясните, как логически можно получить формулу (4.2).

2. Обоснуйте условие (4.6) полного использования пропускной способности канала без помех.

3. Сформулируйте теорему Шеннона для канала без помех.

4. Как отличается трактовка величины Hz для случаев "посимвольного" и "цепочечного" эффективного кодирования?

5. Поясните смысл формулы (4.8)

6. При каких допущениях и каким образом получена формула (4.10)

7. Почему при вероятности ошибки p₀ =1 пропускная способность канала имеет ту же величину, что и при p₀ = 0? Как практически можно использовать такой канал?

8. В чем суть теоремы Шеннона для канала с помехами?

9. Как практически можно избежать потери информации в канале с помехами?

Дата добавления: 2014-01-11