Вероятностный подход к измерению количества информации

КОЛИЧЕСТВО получаемой ИНФОРМАЦИИ определяется как мера устранения неопределенности состояния источника информации.

Синтаксические меры информации.

Для измерения синтаксической информации вводятся два параметра:

l количество информации I

l объем данных V_d.

ОБЪЕМ ДАННЫХ Vd в дискретном сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных.

В двоичной системе счисления единица измерения – бит (англ. bit – сокращение от binary digit – двоичная цифра).

Группа из 8 битов называется байтом. Если бит – минимальная единица объема данных, то байт его основная единица. Существуют производные единицы объема: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб).

1Кб = 2¹⁰ (1024) байтов. 1Мб = 2¹⁰ Кбайтов = 1'048'576 байтов.
1Гб = 2¹⁰ Мбайтов = 1'073'741'824 байтов.

Количество информации на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния источника информации (в качестве которого может выступать некоторый объект, процесс, явление или система). Эту меру неопределенности в теории информации называют энтропией системы.

Степень неопределенности выбора состояния источником информации зависит не только от числа состояний, но и от вероятностей выбора источником этих состояний. При не равновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности.

Указанные недостатки описанной меры неопределенности привели к тому, что в теории информации в большинстве случаев используется другая мера неопределенности, предложенная американским ученым Клодом Шенноном в 1948 г., которая и называется энтропией дискретного источника информации.

Так как эта мера позволяет учесть вероятностные (статистические) свойства источника, то называется вероятностной (статистической) мерой неопределенности

Соответственно для определения количества информации в сообщении о некотором событии, вероятность которого равна p_i, используется следующая формула

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта (например, 2 разряда десятичного числа позволяют представить 100 чисел, а 2 разряда двоичного числа – только 4), что можно представить в виде соотношения

где N – количество возможных отображаемых состояний; m – основание системы счисления (разнообразие символов, применяемых в алфавите); n – число разрядов (символов) в сообщении.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

Y = I / V_д, причем 0 < Y ≤ 1.

Дата добавления: 2015-04-24