Общие сведения. Составьте отчет и сделайте соответствующие выводы

Составьте отчет и сделайте соответствующие выводы

В технике передачи дискретных сообщений приходится решать задачу сопряжения (согласования) источников дискретных сообщений с каналом. Решение этой задачи связано с поиском путей передачи информации со скоростью, возможно более близкой к предельной.

Для большинства источников дискретных сообщений, характеризующихся информационной избыточностью, максимальная скорость передачи может быть достигнута в результате устранения избыточности в передаваемом сообщении. Процедуры, направленные на устранение избыточности источника дискретных сообщений, передаваемых по каналу без помех, называются эффективным кодированием.

Пусть имеется сообщение, записанное с помощью букв некоторого первичного алфавита , содержащего букв. Требуется закодировать это сообщение, т.е. указать правило сопоставления каждой букве первичного алфавита последовательности из символов «0» и «1», образующих вторичный алфавит.

При передаче дискретных сообщений по каналам связи буквы алфавита обычно отображаются кодовыми комбинациями постоянной длины (равномерное кодирование). Длина кодовой комбинации выбирается из условия . Применение эффективного кодирования позволяет уменьшить среднее число двоичных символов на букву сообщения

(1)

где – длина кодовой комбинации, отображающей -ю букву,

– вероятность появления -й буквы.

Уменьшение средней длины кодовой комбинации, отображающей букву сообщения, позволяет увеличить скорость передачи.

Эффективное кодирование базируется на теореме Шеннона для каналов без шума. Согласно этой теореме (основной теореме кодирования), сообщения, составленные из букв некоторого алфавита, можно закодировать так, что среднее число двоичных символов, приходящихся на букву, будет сколь угодно близко к энтропии источников этих сообщений , но не менее этой величины, т.е.

(2)

Под энтропией дискретного источника понимается среднее количество информации, приходящееся на одну букву сообщения:

(3)

Для построения эффективных кодов наибольшее распространение нашли методики Шеннона-Фано и Хаффмена.

Дата добавления: 2015-06-27