Количественное измерение информации по Хартли и Шеннону

Информацию можно измерить количественно, подсчитать. Для этого абстрагируются от смысла сообщения. Шеннон дал формальное определе­ние количества информации на основе вероятностного подхода и указал критерий, позволяющий сравнивать количество информации, доставляе­мое разными сигналами.

Смысл заключается в том, что между сигналом и событием су­ществует однозначная связь. Совокупность сигналов является изоморф­ным отображением некоторых сторон реального события. Связь сигнала с событием воспринимается как смысловое содержание сигнала или сооб­щения, сущность которого состоит в том, что благодаря ему получатель побуждается к выбору определенного поведения. Всякое сообщение мо­жет рассматриваться как сведения об определенном событии х_i в момент t_i. Это событие содержит данные о том, в каком из множества возможных состояний находилась система S в момент времени t_i. Процесс связи предполагает наличие множества возможностей. У. Р. Эшби приводит следующий пример.

Заключенного должна навестить жена. Сторож знает, что она хочет сообщить мужу, пойман ли его сообщник. Ей не разрешено делать никаких сообщений. Но сторож подозревает, что они договорились о каком-то ус­ловном знаке. Вот она просит послать мужу чашку кофе. Как сторож мо­жет добиться, чтобы сообщение не было передано? Он будет рассуждать так: может быть, она условилась передать ему сладкий или несладкий ко­фе, тогда я могу помешать, добавив в кофе сахару и сказав об этом за­ключенному. Может быть, она условилась послать или не послать ему ложку, тогда я помешаю, изъяв ложку и сказав ему, что передача ложек воспрещена. Она может послать ему не кофе, а чай, но все знают, что в это время выдается только кофе. Как видно, сторож интуитивно стремится пресечь всякую возможность связи. Для этого он сводит все возможности к одной — только с сахаром, только без ложки, только кофе. Если все воз­можности сведены к одной, связь прерывается, и посылаемый напиток ли­шен возможности передать информацию. Из этого примера видно, что пе­редача и хранение информации существенно связаны с наличием некото­рого множества возможностей.

Кроме того, информация, передаваемая отдельным сообщением, за­висит от того множества, из которого оно выбрано. Например, два солдата находятся в плену — один в стране А, другой в стране В, Им разрешили послать женам телеграммы с содержанием «Я здоров». Однако известно, что в стране А пленным разрешается выбирать следующие сообщения: я здоров, я слегка болен, я серьезно болен. В стране В разрешается сообщать только: я здоров, означающее — я жив. Обе женщины получили одинако­вую фразу, но они будут понимать, что полученная ими информация не является тождественной. Из этого примера видно, что передаваемая ин­формация не является внутренним свойством индивидуального сообщения. Она зависит от того множества, из которого выбрана.

Сообщения могут быть непрерывные и дискретные. Непрерывные сообщения получают бесконечно малые приращения и совокупность по­следовательных символов не только не конечна, но и не поддается исчис­лению. Обычно в практике применяются дискретные сообщения, под ко­торыми понимается конечная последовательность символов, взятых из не­которого набора символов, называемого алфавитом. Каждый отдельный символ называется буквой алфавита.

Конечная последовательность символов, взятых из некоторого алфа­вита, называется словом. Использование дискретных сообщений позволя­ет передавать данные о состоянии, выбранном из сколь угодно большого числа возможных состоянии, посредством использования немногих раз­личных символов из алфавита. Число этих символов называется ос­нованием кода. Количество различных символов, из которых составляют­ся слова, зависит от основания кода. Общепринятая арабская цифровая система придает специальное значение числу 10. Однако десятичная сис­тема счисления оправдывается только привычкой. В ряде европейских и азиатских стран, а также в России до начала XX века в какой-то мере ис­пользовали представление чисел в двоичной системе. Оказывается, что любое сколь угодно сложное сообщение можно успешно передавать при помощи последовательности, построенной из двух различных символов. Во всем мире принято два символа: 0 и 1, которым соответствуют 0 - от­сутствие сигнала, 1 - наличие сигнала. Если система может находиться в одном из N различных состояний, множество которых x₁ x₂,..., x_N известно получателю сообщения, то для передачи сведений о состоянии системы достаточно указать номер i (i = 1, 2,..., N) состояния, в котором она нахо­дится. Этот номер представляет собой слово в алфавите, буквами которого являются цифры. Американская телефонная компания Белла восполь­зовалась этим и построила вычислительную машину, в основу которой по­ложено двоичное счисление. Вместо того чтобы записывать число в виде суммы стольких-то единиц, стольких-то десятков, стольких-то сотен, с та­ким же правом можно представлять целое число в виде суммы единиц, двоек, четверок, восьмерок и т. д.

При этом всякое число i может быть записано в таком виде:

a_m a_m-1…a₁,

где каждое а может принимать только два значения: 0 или 1. Эта запись означает: i = а_m 2^m-1+ а_m-1 2^m-2 +…+а₁. Если число в десятичной записи составляет i = 35, то в двоичной записи оно имеет следующий вид:

/ = 100011 Если это число записать снова в десятичной системе счисления, то получим:

35= 1*32 + 0*16 + 0*8 + 0*4+1*2+1.

Запись чисел от 1 до 15 в двоичной системе счисления имеет сле­дующий вид: 1, 10, 11, 100, 101, 110, 111, 1000, 1001, 1010, 1011, 1100, 1101, 1110, 1111, а число 27 передается последовательностью символов 11011. Из приведенных примеров видно, что сообщение о любом событии может быть записано в виде слова в двухбуквенном алфавите. Различных двоичных последовательностей длины m имеется 2^m, так как каждый сим­вол может принимать два значения независимо от других. С помощью двоичной последовательности длины m можно передать сообщение о со­бытии, выбранном из N возможных событий, где N = 2^m, или иначе:

m = log₂ N

Если передавать то же сообщение не двоичным кодом, а десятичным, то потребовалась бы последовательность длины m’=log10N. При этом m’~m. Из этого видно, что m отличается от m' постоянным множителем, независящим от N Выбор коэффициента пропорциональности сводится к выбору основания логарифмов и одновременно означает выбор единицы количества информации. Обычно берутся логарифмы по основанию 2. В этом случае за единицу принимается количество информации, которое за­ключается в одном двоичном разряде, т. е. выборе одного из двух возмож­ных сообщений. Такая единица информации называется битом. Слово «bit» является сокращенным от английского слова «binary digit», что озна­чает двоичный разряд. Двоичную единицу, или бит можно представить се­бе как неизвестный заранее ответ «да» или «нет» на вопрос, ответ на кото­рый мы никак не можем предсказать и поэтому вынуждены считать оба ответа равновероятными. Поэтому в немецкой литературе эту двоичную единицу называют «да — нет» (ja Nein-Einheit). Если событие имеет два равновероятных исхода, то это означает, что вероятность каждого исхода равна 1/2. Сообщение о том, что родился мальчик или девочка несет ин­формацию равную 1 - (0,5 мальчик + 0,5 девочка). Кроме представления чисел с помощью двоичных индикаторов (устройство, которое в любой момент времени может быть только в одном из двух возможных со­стояний: 1 либо 0), каждую десятичную цифру можно представить с по­мощью четырех двоичных цифр, которое называется двоично-кодированным десятичным представлением. Такое представление требует не меньше битов, чем обычное двоичное.

Минимальная единица информации, которую обрабатывают ЭВМ, называется байтом. Эта единица заключает в себе один символ. Символы существуют трех типов: цифры — 0,1, 2,.., 9, буквы Аа, Вb,.., Zz. Специальные символы -, •, =, +; пробелы и др. Всего имеем 256 различных сим­волов. Символ представляется двумя десятичными цифрами, которые в со­временных ЭВМ помещаются в один байт. Байт состоит из девяти битов. Восемь битов для представления информации и один бит — для проверки на четность. Восемь битов могут представлять восемь двоичных цифр или две десятичные цифры в двоично-кодированном десятичном представле­нии, например, число 31 представляется как 00110001, где ООП представ­ляет цифру 3, а 0001 - цифру 1. Бит проверки на четность добавляется к каждому байту таким образом, чтобы полное число составляющих его еди­ниц было всегда нечетным. Нечетность служит проверкой на точность. Ко­гда байт пересылается внутри ЭВМ, производится проверка, представляет ли он правильный код. Если он окажется четным числом единиц, то ма­шинный контроль сообщает об ошибке. В теоретических исследованиях при определении количества информации удобно пользоваться не двоич­ными, а натуральными логарифмами. Соответствующая единица информа­ции называется натуральной единицей, сокращенно «Нит» или «Нат». Ес­ли при определении количества информации пользуются десятичными ло­гарифмами, единичную информацию получают, выделив сообщение из 10 равновероятных сообщений. Соответствующая единица информации на­зывается децитом (decimal — digit — десятичный символ).

Количество информации в расчете на единицу времени называется скоростью передачи информации и исчисляется, например, в бит/сек.

Каким бы ни было основание кода, длина последовательности, необ­ходимой для передачи некоторого сообщения, пропорциональна логариф­му числа возможных сообщений. Если статистические связи между симво­лами отсутствуют, то максимальное количество информации (Нmax), кото­рое содержится в сообщении, пропорционально длине:

Нmax ~ m ~ logN.

Эта мера максимального количества информации, которое может содержаться в сообщении, предложена в 1928 г. американским ученым Л. Хартли. Мера максимального количества информации обладает двумя важнейшими свойствами: она монотонно возрастает с возрастанием N и является аддитивной. Свойство аддитивности означает следующее: со­общение а выбирается из N₁ возможных сообщений, независимое от а со­общение b выбирается из N₂ возможных сообщений. Информация, которая содержится в сложном сообщении, состоящем из сообщения а и сообще­ния b, зависит от числа возможных сложных сообщений, их N = N₁, N₂. От­сюда:

Нmax(N₁, N₂) = log₂ N₁, N₂ =log₂ N₁ + log₂ N₂ = Нmax(N₁) + Нmax(N₂).

Очевидно, что в сложном сообщении содержится сумма информа­ции, которую несут отдельные сообщения, что согласуется с интуитивны­ми представлениями.

Величина Нmax указывает верхнюю границу количества информа­ции, которое может содержаться в сообщении. Однако действительное количество информации зависит не только от числа возможных сообще­ний, но и от их вероятностей. Заслуга К. Шеннона состоит в том, что он указал на существование неопределенности относительно того, какое именно конкретное сообщение из множества сообщений отправителя будет выбрано для передачи. Это связывает информацию с теорией ве­роятностей. Оценка количества информации основывается на законах теории вероятностей. Сообщение имеет ценность, оно несет информа­цию только тогда, когда мы узнаем из него об исходе события, имеюще­го случайный характер, когда оно в какой-то мере неожиданно. При этом ценность информации в основном определяется степенью неожи­данности сообщения.

В качестве меры априорной неопределенности системы в теории информации применяется специальная характеристика, называемая энтропией.

Энтропиейсистемы называется сумма произведений вероятностей различных состояний системы на логарифм этих вероятностей, взятая с обратным знаком.

В результате получения сведений неопределенность системы может быть уменьшена, и чем больше объем полученных сведений, тем они содержательней, тем больше будет информация о системе, тем менее неопределенным будет ее состояние. Естественно количество информации целесообразно измерять уменьшением энтропии системы для уточнения состояния, которому предназначались сведения.

Рассмотрим некоторую систему X, которую мы наблюдаем и оценим информацию, полученную в результате того, что состояние системы X становится полностью известным. До получения сведений энтропия системы была H (X), после получения сведений состояние полностью определилось, то есть H (X) = 0.

Обозначим через I_x информацию, полученную в результате выяснения состояния системы X.

I_x = H (X) – 0

I_x =

Таким образом, количество информации, приобретаемое при полном выяснении состояния системы равно энтропии этой системы.

Данная формула является средняя значений логарифма вероятностей состояний с обратным знаком взвешенная по вероятности состояний системы.

Естественно каждое отдельное слагаемое log p_i рассматривают как частную информацию, полученную от отдельного сообщения, состоящую в том, что система X находится в состоянии x_i. Обозначим эту информацию

Если возможные состояния системы одинаково вероятны, то частная информация от каждого отдельного сообщения

В случае, когда состояния системы обладают различными вероятностями, информация от разных сообщений неодинакова. Наибольшую информацию несут сообщения о тех событиях, которые априори были наименее вероятны.

Оказалось, что состояние неопределенности выбора обладает изме­римой количественной оценкой, называемой энтропией источника сооб­щений (Н). Вероятность можно описать как частоту появления именно данного исхода в длинной серии однотипных испытаний.

В качестве объекта будем рассматривать некоторую систему X, которая случайным образом может оказаться в том или ином состоянии. Системе заведомо присуща некая степень неопределенности. Очевидно, что сведения, полученные в системе тем ценнее и содержательней, чем больше была неопределенность системы до получения этих сведений. Возникает вопрос: Что значит больше или меньше была неопределенность системы.

Рассмотрим случайную величину X, которая характеризует множество состояний системы x ₁, x ₂, …, x_n с вероятностями p ₁, p ₂, …, p_n.

В качестве меры априорной неопределенности системы в теории информации применяется специальная характеристика, называемая энтропией.

Энтропиейсистемы называется сумма произведений вероятностей различных состояний системы на логарифм этих вероятностей, взятая с обратным знаком.

Такая функция выбрана в качестве меры. Рассмотрим свойства данной функции, определяющие энтропию:

1. H (X) = 0 когда одно из всех состояний системы достоверно, а другие невозможны;

2. При заданном числе состояний сумма обращается в максимум, когда эти состояния равновероятностны, а при увеличении числа состояний сумма увеличивается.

3. Свойство аддитивности. В случае объединения нескольких независимых систем в одну их энтропии складываются.

Логарифм в формуле может быть взят при любом основании. Если в основании выбрано 10, то говорят о десятичных единицах энтропии, если 2 то о двоичных. Учитывая то, что современная вычислительная техника строится на принципах двоичной системы, то на практике чаще всего используют основание 2.

Рассмотрим пример:

X	x 1	x 2
P	1/2	½

H (X) = – .

Определенная таким образом единица энтропии называется двоичной единицей. Иногда ее называют бит. Это энтропия первого разряда двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.

Обобщим на n равновероятностных состояний.

X	x 1	x 2	x 3	…	xn
P	1/ n	1/ n	1/ n	…	1/ n

Энтропия системы с равновозможными состояниями равна логарифму числа состояний.

Дата добавления: 2014-01-11