Семиотика

Развитие качественной стороны в исследованиях информации теснее всего связано с семиотикой — теорией знаковых систем. Семиотика ис­следует знаки как особый вид носителей информации.

Отношение между знаками, обозначаемыми предметами и их ото­бражением в форме понятий и моделей, изучаются другим аспектом се­миотики — семантикой. Этими отношениями определяется содержание информации, передаваемой посредством знаков.

В настоящее время еще не разработаны методы точного количест­венного определения смыслового содержания информации. Наиболее из­вестными подходами к построению теории семантической информации являются теория Карнапа и Бар-Хиллела, основанная на понятии логиче­ской вероятности, и теория советского ученого Ю. А. Шрейдера, имеющая невероятностный характер.

Отношения между знаками и их потребителями, с точки зрения ис­пользования получаемой информации и влияния знаков на поведение сис­темы, изучается другим разделом семиотики — прагматической теорией информации. Предметом ее исследования является определение ценности информации для потребителя. Ценность информации — есть отношение субъекта, информации и цели, где информация выступает как объективный фактор или носитель ценности. Ценность информации является важной характеристикой для кибернетических систем, так как она связана с их функционированием. Ценностный критерий информации является пригод­ным, когда сравниваются системы, выполняющие одну и ту же функцию, но имеющие внутреннее разнообразие. Каждое сообщение важно оцени­вать не с точки зрения познавательных характеристик, а с точки зрения по­лезности для выполнения функций управления. Исходя из этих соображе­ний, А. А. Харкевич предложил определять меру ценности информации I_c как изменение вероятности достижения цели при получении этой ин­формации:

I_c = log p₁ – log p₀,

где p₀ - вероятность достижения цели до получения информации;

p₁ - вероятность достижения цели после получения информации.

Другой подход к проблеме ценности информации осуществлен М. М. Бонгардом. Он вводит понятие «полезная информация», связывая сообщение с тем, какую задачу решает получатель, что он знает до прихо­да сообщения и как он его истолковывает. Этот подход имеет вероятност­но-алгебраическую сущность и носит более общий характер, чем мера ценности информации, предложенная А. А. Харкевичем.

Между элементами любой системы и между различными системами существуют информационные связи. Чтобы иметь представление о состоя­нии системы, необходимо каким-то способом оценивать значение ее коор­динат. При этом оказывается, что ни один способ наблюдения не может доставить абсолютно точных сведений о значениях координат системы. Это объясняется тем, что любому измерению свойственна определенная конечная разрешающая способность.

В общем виде, если состояние системы представляется вектором, со­ставляющие которого x_l,x₂,..., х_n могут независимо друг от друга прини­мать r_l,r₂,..., r_n; значений соответственно, то число всевозможных наборов этих значений, входящих в множество состояний системы, будет равно N = r_l,r₂,..., r_n

Состояние системы в определенный момент времени называется со­бытием. Событием называется каждая фиксируемая наблюдением количе­ственная или качественная определенность динамической системы или ее состояния. Различают простые и сложные события, О, t) представляет со­бой множество возможных событий для каждого момента времени.

Каждому состоянию системы, событию, можно ставить в соответ­ствие определенное значение какой-либо физической величины. При помощи этой величины можно осуществлять передачу сведений от од­ного объекта к другому. Физический процесс, представляющий собой материальное воплощение сообщения о событиях, называется сигналом. Сигнал как физический носитель информации возникает только на основе изменения состояния системы, т. е. возникшего события; он имеет самостоятельную физическую сущность и существует независимо от со­держания происшедшего события, и всегда связан с каким-либо матери­альным объектом или материальным процессом. Сигнал может сущест­вовать длительное время, иметь непрерывную или дискретную характе­ристику и быть статическим или динамическим. Посредством сигналов осуществляются информационные связи, циркулирующие в кибернети­ческих системах. Сигналы можно передавать на расстояние, поддержи­вая связь между разобщенными в пространстве объектами. Сигналы можно запоминать и передавать их во времени. Это позволяет связывать между собой объекты, разделенные во времени.

Система или среда, в которой осуществляется передача сигнала, на­зывается каналом связи, информационным каналом или каналом переда­чи сообщений. В общем виде абстрактную схему системы связи можно изобразить следующим образом (рис.4.1).

Эта схема функционирует следующим образом: источник информа­ции (отправитель) обладает некоторым множеством различных и разно­значных для получателя сведений, совокупность которых называется со­общением. Передача сообщения означает выбор определенного символа или определенных символов из множества возможных символов или алфа­вита отправителя и преобразование этих символов с помощью передатчика в передаваемые сигналы.

Рисунок 4.1 Схема системы связи

Элементами алфавита могут быть дискретные символы — буквы, цифры, азбука Морзе, либо непрерывные символы — высота тона, амплитуда колебания. Передающие сигналы по коммуникационной цепи перемещаются с шумом, вызывающим искажение сообщений. На сторо­не приемника имеется алфавит физических символов, из которых на ос­нове полученных физических сигналов восстанавливается полученное сообщение. Полученные сигналы могут быть искажены аддитивными помехами, т. е. шумом. Получаемая информация всегда относительна, так как она зависит от различия между неуверенностью принимающего перед приемом и после приема.

Сигналы, в которых содержится информация, могут быть пред­ставлены в дискретной и в непрерывной форме. Дискретные сигналы могут принимать лишь определенное конечное количество значений. Непрерывный сигнал может принимать бесчисленное множество зна­чений, которые могут отличаться один от другого сколь угодно малыми приращениями.

Каждому состоянию системы x соответствует определенное сообще­ние х_с. Множеству возможных событий соответствует множество сообще­ний, передаваемых при помощи сигналов. Формирование сообщения сле­дует рассматривать как преобразование системы в х_с - од­но из множества возможных состояний х_с =. Это преобразова­ние происходит посредством некоторого оператора Р:

Оператор Р преобразования какого-либо операнда в его образ-сообщение называется кодом. Это комплекс правил, согласно которым информации придается определенный сигнал. Сама операция преобразова­ния посредством кода называется кодированием. В узком смысле слова под кодированием понимают присвоение кодового обозначения объекту или всякую операцию сопоставления множества сообщений одного источ­ника множеству сообщений другого источника, согласно определенной системе правил.

В качестве операнда может рассматриваться не только состояние системы х или событие (x,t), но и сообщение . В этом случае имеет место перекодирование. Операция перекодирования часто бывает необходима в случаях секретности. При этом сообщение, закодированное одним спо­собом, преобразуется в сообщение , закодированное другим способом. В коммуникационной цепи возможно многократное перекодирование. Такое преобразование сообщений можно представить как последовательное воз­действие на состояние системы д: операторов Р₁Р₂ …, P_i по схеме:

Экономичность передачи сообщения зависит от правильности его кодирования, т. е. от рациональной системы кодирования. Кодирование сигнала по существу означает сравнение символов одного алфавита с сим­волами другого алфавита. При этом код представляет собой комплекс пра­вил сравнения символов. Поскольку при кодировании сравниваются сим­волы двух алфавитов, то при этом может измениться количество символов и их вероятностное распределение. В силу этого изменяется и энтропия сообщения. Задача заключается в том, чтобы найти наиболее экономичный для данной передачи код. Наиболее экономичным является код, который требует минимального числа символов и минимального времени на передачу. Хороший код должен сохранить все нужное в сообщении и исклю­чить ненужное.

Большинство кодов имеют избыточность. Это значит, что при пере­даче сообщений умышленно не используются все возможности кода.

Избыточность — это свойство языков, кодов и знаковых систем, со­стоящее в том, что сообщение содержит больше сигналов, чем фактически требуется для передачи информации: это свойство улучшает связь в усло­виях помех. Простейшей формой избыточности является дублирование.

Наличие избыточности в сигнале равносильно его удлинению. Одна­ко считать избыточность исключительно отрицательным явлением нельзя, т. к. чем больше избыточность сообщения, тем меньше оно подвержено искажению за счет действия помех. Нахождение оптимальной избыточно­сти кода при данном уровне помех — одна из главных задач теории ин­формации.

Одной из основных проблем при передаче информации по каналу связи с ограниченной пропускной способностью является максимальное увеличение фактической скорости передачи сообщений, которая зависит не только от параметров технических устройств, но и от принятой системы кодирования. Выбором эффективного способа кодирования и декодирова­ния для каждого конкретного канала связи можно добиться наилучшего использования его пропускной способности.

Наибольшее распространение получили двоичные коды, обладающие существенным преимуществом. Наличие всего двух символов позволяет просто и надежно представлять числа в виде импульсов тока или напряже­ния. Большинство цифровых вычислительных систем предназначается для обработки дискретной информации, закодированной в двоичной системе счисления. Коды, в которых сообщения представлены комбинациями с не­равным количеством символов, называются неравномерными или не­комплектными. Коды, в которых сообщения представлены комбинация­ми с равным количеством символов, называются равномерными, или комплектными.

Очевидно, что при использовании равномерного кода в отличие от неравномерного не требуется специального знака, отделяющего одну бук­ву от другой. Для однозначного декодирования принятых сообщений, а также для передачи больших объемов информации при меньших времен­ных и материальных затратах коды должны удовлетворять следующим требованиям:

• разные символы передаваемого сообщения должны иметь различные коды;

• код должен быть построен так, чтобы можно было четко отделить начало и конец букв алфавита, из которого составлено сообщение;

• код должен быть максимально кратким — чем меньшее число элементарных символов требуется для передачи данного сообщения, тем ближе скорость передачи информации к пропускной способности данного канала.

Первое требование очевидно, так как при одинаковых кодовых обо­значениях различных букв сообщения нельзя будет однозначно декодиро­вать.

Второе требование может быть удовлетворено следующим образом: введением в код дополнительно разделительного символа-паузы, что зна­чительно удлиняет время передачи сообщения; созданием кода, в котором конец одной буквы не может быть началом другой; либо применением равномерного кода. В этом отношении равномерные коды обладают пре­имуществом, вместе с тем они имеют существенный недостаток — незави­симо от вероятности появления отдельных букв сообщения они закодиро­ваны последовательностями символов одинаковой дайны. Такой код мо­жет быть оптимальным с точки зрения затрат времени на передачу только в случае, если все буквы сообщения равновероятны и независимы.

Третье, основное требование к кодам обеспечивает наибольшую ско­рость передачи информации по каналу связи посредством возможного со­кращения кодов. Длину последовательности символов, кодирующих каж­дое сообщение, назовем длиной кодового слова.

Основные свойства оптимальных кодов:

1. минимальная средняя длина кодового слова оптимального кода обеспечивается в том случае, когда избыточность каждого слова сведена к минимуму (в предельном случае — к нулю);

2. алфавит оптимального кода должен строиться из равновероятных и независимых символов.

Из свойств оптимальных кодов вытекают принципы оптимального кодирования: выбор очередного символа в кодовом слове необходимо про­изводить так, чтобы содержащееся в нем количество информации было максимальным, и сообщениям, имеющим большую вероятность появле­ния, необходимо присваивать более короткие кодовые слова.

Эти принципы определяют метод построения оптимальных кодов, предложенный независимо друг от друга Р. Фано и К. Шенноном. Поэтому соответствующий код называется кодом Шеннона-Фано.

Построение оптимального двоичного кода сводится к следующей процедуре:

1. множество из N сообщений располагают в порядке убывания вероятностей;

2.множество сообщений разбивают на две группы так, чтобы суммарные вероятности сообщений обеих групп были по возможности равны;

3.первой группе присваивают символ 0, второй группе — символ 1;

4.каждую из групп делят на 2 подгруппы так, чтобы их суммарные вероятности были по возможности равны;

5.первым подгруппам каждой из групп вновь присваивают 0, а вторым 1, в результате чего получаются вторые цифры кода. Затем каждую из четырех подгрупп вновь делят на равные (по суммарной вероятности) части и т. д. до чех пор, пока в каждой из подгрупп останется по одной букве. Очевидно, что для равновероятностных сообщений оптимальный код будет равномерным, т. е. длина кодового слова постоянна.

Вопрос об отыскании практически удобных методов кодирования для различных каналов связи с помехами составляет содержание теории кодирования, являющейся самостоятельным разделом теории информации.

Дата добавления: 2014-01-11