Синтаксическая мера информации

МЕРЫ ИНФОРМАЦИИ

ФОРМЫ АДЕКВАТНОСТИ ИНФОРМАЦИИ

Адекватность информации может выражаться в трех формах: семантической, синтаксической, прагматической.

Синтаксическая адекватность – отображает формально-структурные характеристики информации и не затрагивает ее смыслового содержания.

На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т.п. Информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, так как при этом не имеет значения смысловая сторона. Эта форма способствует восприятию внешних структурных характеристик, т.е. синтаксической стороны информации.

Семантическая (смысловая) адекватность. Эта форма определяет степень соответствия образа объекта и самого объекта. Семантический аспект предполагает учет смыслового содержания информации. На этом уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи. В информатике устанавливаются смысловые связи между кодами представления информации. Эта форма служит для формирования понятий и представлений, выявления смысла, содержания информации и ее обобщения.

Прагматическая (потребительская) адекватность – отражает отношение информации и ее потребителя, соответствие информации цели управления, которая на ее основе реализуется. Проявляются прагматические свойства информации только при наличии единства информации (объекта), пользователя и цели управления. Прагматический аспект рассмотрения связан с ценностью, полезностью использования информации при выработке потребителем решения для достижения своей цели. С этой точки зрения анализируются потребительские свойства информации. Эта форма адекватности непосредственно связана с практическим использованием информации.

Классификация мер

Для измерения информации вводятся два параметра: количество информации I и объем данных Vд.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности.

Каждой форме адекватности соответствует своя мера количества информации и объема данных.

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

· в двоичной системе счисления единица измерения — бит (bit — binary digit — двоичный разряд); в современных ЭВМ наряду с минимальной единицей измерения данных "бит" широко используется укрупненная единица измерения "байт", равная 8 бит и ее производные.

· в десятичной системе счисления единица измерения — дит (decimal digit — десятичный разряд).

Пример 3. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных Vд = 8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных Vд = 6 дит.

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы).

Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α.

Мерой его неосведомленности о системе является функция Н(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию I_β(α), которая уменьшила его априорную неосведомленность так, что апостериорная (после получения сообщенияβ) неопределенность состояния системы стала H_β(α).

Тогда количество информации I_β(α) о системе, полученной в сообщении β, определится как

I_b(a) = H(a) – H_b (a),

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H_b (a) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации

I_b(a) = H(a).

Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.

Энтропия системы Н(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где Р_i — вероятность того, что система находится в i-м cостоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны

ее энтропия определяется соотношением

При представлении в ЭВМ информация кодируется числовыми последовательностями в той или иной системе счисления. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N= mⁿ,

где N — число всевозможных отображаемых состояний;

т — основание системы счисления (разнообразие символов, применяемых в алфавите);

п — число разрядов (символов) в сообщении.

Пример. По каналу связи передается п-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет N = тⁿ, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет

I = log₂ N =n log₂ m — формула Хартли.

Если в качестве основания логарифма принять т, то I = п. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = V д, полученных по каналу связи. Для неравновероятных состояний системы всегда I < V д = п.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Дата добавления: 2014-01-07