Получение какой-либо информации об интересующей нас величине заклю­чается, таким образом, в уменьшении неопределенности ее значения

Теория информации облекает это логически понятное, но довольно расплывчатое рассуждение в строгую математическую форму. Формаль­ный прием для математической записи этого логического заключения достаточно прост и состоит в определении количества инфор­мации q как уменьшения энтропии от значения Н (X), которое характеризует неопределенность измеряемой величины перед измере­нием, до значения Н (Х / Х _П), которое остается после получения пока­зания прибора Х _П, т. е. как

q = Н(X) -Н(Х/Х_П) (3.5)

Величина Н (X) представляет собой исходную энтропию, а значение Н (Х / Х п) характеризует ту неопределенность, которая остается после получения показания прибора Х, и называется условной энтропией (при условии, что Х _П известно).

В приведенном примере с равномерным законом распределения плотности вероятности как до, так и после измерения исходная, или безусловная, энтропия составляет

(3.6)

а оставшаяся, или условная, энтропия результата измерения после получения отсчета Х _П равна

(3.7)

Отсюда полученное количество информации, равное разности исходной и оставшейся энтропии, записывается как

q = Н(X) - Н(Х/Х_П)= log (X₂ – X₁) - log 2Δ =

= (3.8)

В этой замене операции деления Δ на X ₂ — Х ₁, используемой обычно при определении относительной погрешности измерения, на операцию вычитания исходной и оставшейся неопределенностей, характеризуе­мых соответствующими значениями энтропии, и заключается основной прием анализа теории информации. (Пример)

Дата добавления: 2014-01-05