Единицы измерения информации

Количество информации

Количеством информации называют числовую характеристику сигнала, которая не зависит от его формы и содержания и характеризует степень неопределенности, которая исчезает после выбора (получения) сообщения в виде данного сигнала.

Количество информации в сообщении определяется тем, насколько уменьшается эта мера после получения сообщения. Например, тривиальное сообщение, т.е. сообщение о том, что получателю и без того известно, не изменяет ожидаемых вероятностей и не несет для него никакой информации. Сообщение несет полную информацию о данном множестве событий, если оно целиком снимает всю неопределенность. В этом случае количество информации в нем равно исходной энтропии.

Только принимая за основу новизну сведений, можно дать количественную оценку информации, так как новизна сведений является следствием неопределенности сведений об объекте, процессе, явлении, а неопределенность поддается измерению. Например, сообщение об имени победившего на выборах в президенты, если было всего два кандидата, несет меньшее количество информации по сравнению со случаем, если бы выборы происходили в конкурентной борьбе пяти кандидатов.

Основываясь на идее, что информация устраняет некоторую неопределенность, т. е. незнание, описание любого события или объекта формально можно рассматривать как указание на то, в каком из возможных состояний находится описываемый объект. Тогда протекание событий во времени есть не что иное, как смена состояний, выбранных с некоторой вероятностью из числа всех возможных. Чем больше неопределенность выбора, тем больше информации, так как результат выбора имеет большую степень неожиданности. Вот почему в теории информации количество информации является мерой снятия неопределенности одной случайной величины в результате наблюдения за другой. Если величины независимы, то количество информации равно нулю.

Самым простейшим случаем является выбор альтернативы из двух событий, поэтому за единицу информации целесообразно принять количество информации, заключенное в выборе одного из двух равновероятных событий. Эта единица называется «двоичной единицей» или битом (binary digit – bit).

Итак, при любой неопределенности сужение области выбора вдвое дает одну единицу информации. В физике существует понятие энтропии, которая характеризует степень неупорядоченности (хаотичности) физической системы. Неупорядоченность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. И если максимум энтропии соответствует абсолютно случайному состоянию системы, то максимум информации характеризует полностью упорядоченную (детерминированную) систему. Одним словом, энтропия и информация имеют противоположные знаки, т. е. энтропия системы выражает степень ее неупорядоченности, а информация дает меру ее организации.

В технике часто используют более простой и грубый способ измерения информации, который можно назвать объемным. Он основан на подсчете числа символов в сообщении, т.е. связан с его длиной и не учитывает содержания. Правда, длина сообщения зависит от числа различных символов, употребляемых для записи сообщения, т. е. от мощности алфавита. Например, одно и то же число "девятнадцать" в десятичном алфавите записывается двумя символами – 19, а в двоичном алфавите – пятью символами – 10111.

В вычислительной технике применяются две стандартные единицы измерения: бит и байт. Бит – это один символ двоичного алфавита. Байт – это один символ, который можно представить восьмиразрядным двоичным кодом:

мощность алфавита этого представления равна числу различных восьмиразрядных двоичных кодов, т. е. 2⁸ =256, и может включать, например, все символы клавиатуры пишущей машинки или терминала ЭВМ.

Эти два способа измерения информации, как правило, не совпадают, причем энтропийное количество информации не может быть больше числа двоичных символов (битов) в сообщении. Если же оно меньше этого числа, то говорят, что сообщение избыточно. В следующем примере с колодой из 32 карт оба способа измерения информации дают одно и то же число 5. Это значит, что если кодировать карты колоды последовательностями из пяти двоичных символов, то такой код будет не избыточным. Тривиальные сообщения всегда избыточны, так как имеют нулевую информацию с точки зрения энтропии, но содержат ненулевое число символов.

Поясним эту идею на простом примере. Пусть имеется колода карт, содержащая 32 различные карты. Чтобы выбрать одну из карт, существует 32 возможности, которые характеризуют исходную неопределенность ситуации. Если при равной вероятности уже выбрана какая-то из них (например, король червей), то неопределенности нет. Таким образом, число 32 в рассматриваемом примере можно было бы считать количеством информации, заложенным в одном выборе из 32 возможностей. Р.Хартли предложил в качестве меры неопределенности логарифм от числа возможностей:

H = k log _a m (1)

Здесь Н – количество информации, k – коэффициент пропорциональности, т — число возможных выборов, а—основание логарифма. Чаще всего принимают k = 1 и а = 2. Тогда стандартной единицей количества информации будет выбор из двух возможностей. Такая единица носит наименование бита и представляется одним символом двоичного алфавита. (Наиболее распространенный двоичный алфавит – множество {0, 1}.)

Формулу измерения количества информации можно получить эмпирически: для снятия неопределенности в ситуации из двух равновероятных событий необходим один бит информации, при неопределенности, состоящей из четырех событий, достаточно двух бит информации, чтобы угадать искомый факт. Эти рассуждения можно продолжить: 3 бита информации соответствуют неопределенности из 8 равновероятных событий, 4 бита 16 равновероятных событий и т. д. Таким образом, если сообщение указывает на один из n равновероятных вариантов, то оно несет количество информации, равное log₂n. Действительно, из наших примеров log₂16=4, log₂8=3 и т. д. Ту же формулу можно словесно выразить иначе: количество информации равно степени, в которую необходимо возвести 2, чтобы получить число равноправных вариантов выбора, т. е. 2 ⁱ = 16, где i =4 бита.

Бит выбран в качестве единицы количества информации потому, что принято считать, что двумя двоичными словами исходной длины т или словом длины 2 т можно передать в два раза больше информации, чем одним исходным словом. Число выборов при этом увеличивается в 2^m раз, тогда как значение Н в соотношении (1) просто удваивается.

Интересно, что в соотношении (1) Н характеризует число вопросов (двоичных), ответы на которые позволяют выбрать одну из альтернатив. Так, в примере с колодой карт из 32 карт необходимо и достаточно получить ответы "да" и" нет" на пять вопросов. Ответ на каждый вопрос вдвое сокращает область дальнейшего выбора. Пусть, например, необходимо выбрать даму пик. Такими вопросами будут:

1. Карта красной масти? Ответ: "нет".

2. Трефы? Ответ: "нет".

3. Одна из четырех старших? Ответ: "да".

4. Одна из двух старших? Ответ: "нет".

5. Дама? Ответ: "да".

Таким образом, выбрана дама пик. Этот выбор можно описать последовательностью из пяти двоичных символов 00101, в которой 0 соответствует "нет", а 1 соответствует "да".

При любых видах работы с информацией всегда идет речь о ее представлении в виде определенных символических структур. Наиболее распространены одномерные представления информации, при которых сообщения имеют вид последовательностей символов. Так информация представляется в письменных текстах, при передаче по каналам связи, в памяти ЭВМ. Однако широко используются и многомерные представления информации, причем под многомерностью понимают не только расположение элементов информации на плоскости или в пространстве (в виде рисунков, схем, графов, объемных макетов и т. д.), но и множественность признаков используемых символов. Например, информацию могут нести не только значения букв и цифр, но и их цвет, размер, вид шрифта.

Дата добавления: 2014-01-11