Содержательность информации

Семантические меры информации

Количество информации и избыточность

В общем случае можно считать, что количество информации есть уменьшение энтропии вследствие опыта:

I = H ₁ – H ₂,

где H ₁ – начальная энтропия (до опыта);

H ₂ – конечная энтропия (после опыта).

Наибольшее количество информации получается тогда, когда полностью снимается неопределенность (H ₂ = 0). Причем I = I _max, если H ₁= H _1max (что достигается, когда вероятности всех событий одинаковы).

I ¢= Н _max.

Абсолютная избыточность информации

D _абс = I ¢ – Н = Н _max – Н.

Относительная избыточность

D = (Н _max – Н)/ Н _max = 1 – H / Н _max.

Под семантикой понимается смысл, содержание информации. Под прагматикой – полезность информации.

Зачастую прагматические оценки сливаются с семантическими, поскольку не имеющие смысл сведения бесполезны, а бесполезные сведения бессмысленны.

Для целей измерения смысла информации Карнан и Бар-Хиллел предложили использовать функции истинности и ложности логических высказываний (предложений).

Полученная таким образом оценка получила название содержательности информации.

Содержательность события i (cont(i)) выражается через функцию меры m (i)

cont(i) =m(~i)= 1– m (i),

~ – знак отрицания.

Содержательность изменяется в пределах

0£ m (i) £1.

Логическая оценка количества информации, обозначается Inf

,

где m (i) – логическая функция истинности;

m (~ i) – логическая функция ложности.

Дата добавления: 2015-04-29