Определение информации как меры изменения неопределенности

Измерение количества информации.

Выделение единиц измерения информации можно проводить по логическому и по физическому (с точки зрения размещения на материальных носителях) критериям. С точки зрения размещения на материальных носителях количество информации можно измерять в битах. В соответствии с положениями теории информации в качестве эталона меры выбирается некоторый объект, который может находиться в одном из двух состояний (бинарный объект). Говорят, что с помощью такого объекта можно записать информацию в 1 бит. Такой метод измерения связан с хранением информации в технических устройствах, находящихся либо в намагниченном, либо в размагниченном состояниях. Машинная единица информации – байт (1 байт = 8 бит). Это основная единица хранения информации в вычислительной машине. Информация в 1 байт содержится в системе из 8 -ми бинарных объектов (которая может находиться в 2⁸ различных состояниях). Байт включает одну букву или типографский знак, две десятичные цифры. Машинные слова составляются из нескольких байтов. Из слов составляются фразы (например, фразой является запись в книгу учета кадров – данные о сотруднике).

Показатель (который выше фигурировал как логическая единица) также может использоваться как физическая единица измерения. Показатель может содержать различное число двоичных, десятичных или алфавитных знаков информации. Выразив среднее значение показателя через определенное число десятичных знаков, он может выступать в качестве единицы количества информации.

Объем ЭИ может также измеряться в следующих единицах: сообщение, слово, строка, и пр.

Следует отметить, однако, что рассмотренные способы измерения информации еще не дают возможности судить о действительном количестве информации в сообщении. Одну и ту же реальную информацию можно оформить в виде краткого содержательного отчета или же в многотомном красиво оформленном виде. Таким образом, число страниц в документе, число байтов, битов, показателей не отражает объем реальной информации, содержащейся в сообщении. Широкое распространение получила мера количества информации, связанная с мерой неопределенности некоторой ситуации. В рамках этого подхода количество информации определяется как числовая характеристика сообщения, отражающая ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения.

Рассмотрим пример бросания монеты. До получения информации о результате имеется два равновозможных варианта (орел, решка). После получения информации об исходе броска неопределённость исчезает. Количество информации, получаемое в подобном случае, называется битом.

Количественно выраженная неопределенность в теории информации получила название энтропии. При энтропии, равной нулю, имеется полная информация о системе. Количество информации может быть определено как разность значений энтропии до и после получения информации.

В простом варианте, пусть имеется N возможных вариантов, А_i, состояния рассматриваемой системы. Обозначим через P(А _i) вероятность того (в рамках имеющейся у нас информации о системе до получения сообщения), что система находится в состоянии А_i. Энтропия H (мера степени неосведомленности о состоянии системы) полагается равной:

H = - P(А₁)*log₂(Р(А₁)) - P(А₂)*log₂(Р(А₂)) … - P(А_N)*log₂(Р(А_N)).

Можно показать, что выбор основания, 2, логарифма определяет единицу измерения - бит. Значения логарифмов в данных выражениях £ 0, так как вероятность любого события не превосходит единицу. Следовательно, значение Н всегда неотрицательно. Обозначим через Н₀ значение до получения информации и через Н₁.- после.

Количество полученной информации дается выражением:

I = Н₀ - Н₁

Дата добавления: 2017-01-13