Теорема Шеннона

1. При любой производительности источника сообщений, меньшей, чем пропускная способность канала, существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений, со сколь угодно малой вероятностью ошибки.

2. Не существует способа кодирования, позволяющего вести передачу информации со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.

Из теоремы Шеннона следует, что помехи в канале не накладывают ограничений на точность передачи. Ограничение накладывается только на скорость передачи, при которой может быть достигнута сколь угодно высокая точность передачи. То есть даже при больших помехах в канале можно точно, но медленно передавать информацию.

Теорема не дает нам метода или способа построения кодов, обепечивающих безошибочную передачу информации при воздействии помех, но обосновывает принципиальную возможность такого кодирования, что позволяет с оптимизмом вести разработку конкретных помехоустойчивых кодов.

При любой конечной скорости передачи информации вплоть до пропускной способности канала, сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительности кодируемых последовательностей знаков. Таким образом, безошибочная передача при наличии помех возможна лишь теоретически.

Обеспечение передачи информации с весьма малой вероятностью ошибки и достаточно высокой эффективностью возможно лишь при кодировании чрезвычайно длинными последовательностями знаков.

На практике точность передачи информации и эффективность каналов связи ограничивается двумя факторами:

1. размером и стоимостью аппаратуры кодирования/декодирования;

2. временем задержки передаваемого сообщения.

Разновидности помехоустойчивых кодов

Коды, которые обеспечивают возможность обнаружения и исправления ошибки, называют помехоустойчивыми. Эти коды используют для:

1) исправления ошибок - корректирующие коды;

2) обнаружения ошибок.

Корректирующие коды и коды для обнаружения ошибок основаны на введении избыточности.

Помехоустойчивые коды подразделяются на два класса:

1) блоковые;

2) непрерывные.

В случае блоковых кодов процедура кодирования заключается в преобразовании или кодировании последовательности информационных символов входного кодового слова в помехоустойчивое кодовое слово но уже большей длины. Большая длина помехоустойчивого кода обусловлена введением при кодировании дополнительных или корректирующих символов, которые и обеспечивают обнаружение и исправление ошибок.

В операциях по кодированию принимают участие только информационные символы входного слова и выходная последовательность помехоустойчивого кодового слова зависит только от них.

Блоковый код называют равномерным, если его длина n остается постоянным для всех информационных кодовых слов длиной k символов,

Различают систематические и несистематическиее блоковые коды. При кодировании систематическимии кодами выходные последовательности состоят из символов, роль которых может быть отчетливо разграничена. Это информационные символы, совпадающие с символами последовательности, поступающей на вход кодера канала, и избыточные (проверочные) символы, вводимые в исходную последовательность кодером канала и служащие для обнаружения и исправления ошибок.

При кодировании несистематическими кодами разделить символы входной последовательности на информационные и проверочные невозможно.

Непрерывными -называют такие коды, в которых введение избыточных символов в кодируемую последовательность информационных символов осуществляется непрерывно, без разделения ее на независимые блоки. Непрерывные коды также могут быть разделимыми и неразделимыми. Мы их рассматривать не будем.

Дата добавления: 2014-01-04