Лекция 2. Количество информации выступает другой величиной в синтаксической мере

Количество информации выступает другой величиной в синтаксической мере. Этот параметр определяется уменьшением неопределенности (незнания) об объекте или явлении при появлении новой информации. Количество информации, уменьшающее неопределенность в 2 раза носит название 1 бит. Если еще раз уменьшить неопределенность в 2 раза (всего – в 4 раза), количество информации увеличится еще на 1 бит. Таким образом, количество информации – есть величина логарифмическая. Это означает, что когда несколько событий или объектов рассматриваются как один, количество возможных состояний перемножается, а количество информации — складывается.

Иными словами, количество информации можно представлять как логарифм количества состояний. Количество состояний – число целое. Наименьшее целое число, логарифм которого положителен — 2. Соответствующая ему единица — бит — является основой исчисления информации в цифровой технике.

Количество информации, полученное в результате какого-либо события, зависит от того, сколько вариантов этого события могло быть, точнее с какой вероятностью событие могло произойти с данным конкретным результатом. В 1948 г. Шеннон предложил формулу расчета количества информации I_c при возникновении события, вероятность которого равна p_c:

I_c = - log₂(p_c)

Например, при бросании монеты вероятность выпадения «орла» (как и «решки») равна ½. Тогда количество информации при выпадении орла вычисляется:

I_орел = - log₂(1/2) = log₂(2) = 1 (бит)

Такой подход к измерению информации называется вероятностным. Количество информации зависит от вероятности события. Например, сообщение, что летом выпал снег, несет больше информации, чем сообщение что шел дождь так как первое событие гораздо менее вероятно.

Полное количество информации о системе, которая может иметь N различных состояний (т.е. в которой может произойти N событий), каждое из которых имеет вероятность p_i, на синтаксическом уровне определяется по формуле Шеннона:

Если вероятности всех событий равны между собой, т.е. p_i=1/N, то полное количество информации о системе будет максимальным, и составит:

В качестве примера, рассмотрим задачу вытаскивания шара из мешка, в котором лежит 15 белых шаров и один черный. Сообщение, что в первой попытке вытащен черный шар несет количество информации:

I_ч = - log₂(1/16)= log₂(16) = 4 бит,

а сообщение, что вытащен белый шар -

I_б = - log₂(15/16)= log₂(16/15) = 0.0645 бит

Отсюда видно, что количество информации может быть меньше 1.

Другой пример: Пусть у некоторого студента вероятность получить на экзамене «5» составляет 25%, «4» - 50%, «3» - 12.5% и «неуд» - 12.5%. Тогда количество информации о полученной оценке (полное количество информации) равно:

,

тогда, как количество информации, что студент получил 5 баллов равна:

I₅ = - log₂(1/4) = 2 бит.

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Допустим, что по каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mⁿ, то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет

I=log N=n.log m — формула Хартли.

Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=V_Д, полученных по каналу связи.

Количество информации – это наиболее важная и универсальная характеристика информации. Хотя объем и количество информации иногда измеряют с помощью одних и тех же единиц, их нельзя путать и смешивать между собой.

Например, сообщение «на выборах президента США из демократов и республиканцев победил представитель демократической партии» состоит из 101 символа (это объем информации), но содержит всего 1 бит (это количество информации), так как в 2 раза уменьшает неопределенность – кто из двоих победил.

Дата добавления: 2014-01-11