Энтропия и информация

В предыдущих пунктах была определена энтропия как мера неопределенности состояния некоторой физической системы. Очевидно, что в результате получения сведений неопределенность системы может быть уменьшена. Чем больше объем полученных сведений, чем они более содержательны, тем больше будет информация о системе, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояния которой предназначены сведения.

Рассмотрим некоторую систему X, над которой производится наблюдение, и оценим информацию, получаемую в результате того, что состояние системы X становится полностью известным. До получения сведений (априори) энтропия системы была H (X); после получения сведений состояние системы полностью определилось, т.е. энтропия стала равной нулю. Обозначим через I_X информацию, получаемую в результате выяснения состояния системы X. Она равна уменьшению энтропии:

I_X = H (X) - 0

или

I_X = H (X), (12.13)

т.е. количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы.

Представим формулу (12.13) в виде

(12.14)

где p_i = P (X ~ x_i).

Формула (12.14) означает, что информация I_X есть усредненное по всем состояниям системы значение логарифма вероятности состояния с обратным знаком.

Действительно, для получения I_X каждое значение log p_i (логарифм вероятности i -го состояния) со знаком минус умножится на вероятность этого состояния и все такие произведения складываются. Естественно каждое отдельное слагаемое — log p_i рассматривать как частную информацию, получаемую от отдельного сообщения, состоящего в том, что система X находится в состоянии x_i. Обозначим эту информацию :

Тогда информация I_X представится как средняя (или полная) информация, получаемая от всех возможных отдельных сообщений с учетом их вероятностей. Формула (12.14) может быть переписана в форме математического ожидания:

I_X = M [- log P (X)],(12.15)

где буквой X обозначено любое (случайное) состояние системы X.

Так как все числа p_i не больше единицы, то как частная информация , так и полная I_X не могут быть отрицательными.

Если все возможные состояния системы априори одинаково вероятны то, естественно, частная информация от каждого отдельного сообщения

равна средней (полной) информации

В случае, когда состояния системы обладают различными вероятностями, информации от разных сообщений неодинаковы: наибольшую информацию несут сообщения о тех событиях, которые априори были наименее вероятны. Например, сообщение о том, что 31 декабря в г. Москве выпал снег, несет гораздо меньше информации, чем аналогичное по содержанию сообщение, что 31 июля в г. Москве выпал снег.

Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование, а именно: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» или «нет», с помощью которых можно приобрести ту же информацию. Действительно, рассмотрим систему с двумя состояниями:

xi	x1	x2
pi	p1	p2

Чтобы выяснить состояние этой системы, достаточно задать один вопрос, например: находится ли система в состоянии x₁? Ответ «да» или «нет» на этот вопрос доставляет некоторую информацию, которая достигает своего максимального значения 1, когда оба состояния априори равновероятны: p₁ = p₂ = 1/2 Таким образом, максимальная информация, даваемая ответом «да» или «нет», равна одной двоичной единице.

Если информация от какого-то сообщения равна n двоичным единицам, то она равносильна информации, даваемой n ответами «да» или «нет» на вопросы, поставленные так, что «да» и «нет» одинаково вероятны.

В некоторых простейших случаях для выяснения содержания сообщения действительно удается поставить несколько вопросов так, чтобы ответы «да» и «нет» на эти вопросы были равновероятны. В таких случаях полученная информация фактически измеряется числом таких вопросов.

Если же поставить вопросы точно таким образом не удается, можно утверждать только, что минимальное число вопросов, необходимое для выяснения содержания данного сообщения, не меньше, чем информация, заключенная в сообщении. Чтобы число вопросов было минимальным, нужно формулировать их так, чтобы вероятности ответов «да» и «нет» были как можно ближе к 1/2.

Таким образом, мы научились измерять информацию о системе X, содержащуюся как в отдельных сообщениях о ее состоянии, так и в самом факте выяснения состояния. При этом предполагалось, что наблюдение ведется непосредственно за самой системой X. На практике это часто бывает не так: может оказаться, что система X непосредственно недоступна для наблюдения, и выясняется состояние не самой системы X, а некоторой другой системы Y, связанной с нею. Например, вместо непосредственного наблюдения за воздушными целями на посту управления средствами противовоздушной обороны ведется наблюдение за планшетом или экраном отображения воздушной обстановки, на котором цели изображены условными значками. Вместо непосредственного наблюдения за космическим кораблем ведется наблюдение за системой сигналов, передаваемых его аппаратурой. Вместо текста X отправленной телеграммы получатель наблюдает текст Y принятой, который не всегда совпадает с X.

Различия между непосредственно интересующей нас системой X и поддающейся непосредственному наблюдению Y вообще могут быть двух типов:

· Различия за счет того, что некоторые состояния системы X не находят отражения в системе Y, которая «беднее подробностями», чем система X.

· Различия за счет ошибок: неточностей измерения параметров системы X и ошибок при передаче сообщений.

Примером различий первого типа могут служить различия, возникающие при округлении численных данных и вообще при грубом описании свойств системы X отображающей ее системой Y. Примерами различий второго типа могут быть искажения сигналов, возникающие за счет помех (шумов) в каналах связи, за счет неисправностей передающей аппаратуры, за счет рассеянности людей, участвующих в передаче информации, и т.д.

В случае, когда интересующая нас система X и наблюдаемая Y различны, возникает вопрос: какое количество информации о системе X дает наблюдение системы Y?

Естественно определить эту информацию как уменьшение энтропии системы X в результате получения сведений о состоянии системы Y:

I_{Y ® X} = H (X) – H (X | Y). (12.16)

Действительно, до получения сведений о системе Y энтропия системы X была Н (Х); после получения сведений «остаточная» энтропия стала H (X | Y); уничтоженная сведениями энтропия и есть информация I_{Y ® X}.

Величину (2.5.4) мы будем называть полной (или средней) информацией о системе X, содержащейся в системе Y.

Докажем, что

I_{Y ® X} = I_{X ® Y},

т.е. из двух систем каждая содержит относительно другой одну и ту же полную информацию.

Для доказательства запишем энтропию системы (X, Y) согласно теореме двумя равносильными формулами:

H (X, Y) = H (X) + H (Y | X);

H (X, Y) = H (Y) + H (X | Y),

откуда

H (X) + H (Y | X) = H (Y) + H (X | Y);

H (X) – H (X | Y) = H (Y) –H (Y | X),

или

I_{Y ® X} = I_{X ® Y},

что и требовалось доказать.

Введем обозначение

I_{Y ® X} = I_{Y ® X} = I_{X ® Y}

и будем называть информацию I_{Y ® X} полной взаимной информацией, содержащейся в системах X и Y.

Посмотрим, во что обращается полная взаимная информация в крайних случаях полной независимости и полной зависимости систем. Если X и Y независимы, то H (Y | X) = H (Y) и

I_{Y ® X} = 0,

т.е. полная взаимная информация, содержащаяся в независимых системах, равна нулю. Это вполне естественно, так как нельзя получить сведений о системе, наблюдая вместо нее другую, никак с нею не связанную.

Рассмотрим другой крайний случай, когда состояние системы X полностью определяет состояние системы Y и наоборот (системы эквивалентны). Тогда H (X) = H (Y):

H (X | Y) = H (Y | X) = 0

и

I_{Y ® X} = I _X = I _Y = H (X) = H (Y),

т.е. получается случай, уже рассмотренный нами выше (формула (12.16)), когда наблюдается непосредственно интересующая нас система X (или, что то же, эквивалентная ей Y).

Рассмотрим случай, когда между системами X и Y имеется жесткая зависимость, но односторонняя: состояние одной из систем полностью определяет состояние другой, но не наоборот. Условимся называть ту систему, состояние которой полностью определяется состоянием другой, «подчиненной системой». По состоянию подчиненной системы, вообще, нельзя однозначно определить состояние другой. Например, если система X представляет собой полный текст сообщения, составленного из ряда букв, a Y — его сокращенный текст, в котором для сокращения пропущены все гласные буквы, то, читая в сообщении Y слово «стл», нельзя в точности быть уверенным, означает оно «стол», «стул», «стал» или «устал».

Очевидно, энтропия подчиненной системы меньше, чем энтропия той системы, которой она подчинена.

Определим полную взаимную информацию, содержащуюся в системах, из которых одна является подчиненной.

Пусть из двух систем X и Y подчиненной является X. Тогда H (X | Y) = 0 и

I_{Y ® X} = H (X),

т.е. полная взаимная информация, содержащаяся в системах, из которых одна является подчиненной, равна энтропии подчиненной системы.

Выведем выражение для информации I_{Y ® X} не через условную энтропию, а непосредственно через энтропию объединенной системы Н(Х, Y) и энтропии ее составных частей H (X) и H(Y).

Пользуясь теоремой об энтропии объединенной системы, получим

H (X | Y) = H (X, Y) – H (Y).

Подставляя это выражение в формулу (2.5.4), получим

I_{Y ® X} = H (X) + H (Y) – H (X, Y), (12.17)

т.е. полная взаимная информация, содержащаяся в двух системах, равна сумме энтропии составляющих систем минус энтропия объединенной системы.

На основе полученных зависимостей легко вывести общее выражение для полной взаимной информации в виде математического ожидания. Подставляя в (12.17) выражения для энтропий:

H (X) = M [- log P (X)], H (Y) = M [- log P (Y)], H (X, Y) = M [- log P (X, Y)],

получим

I_{Y ® X} = M [- log P (X) – log P (Y) + log P (X, Y)]

или

(12.18)

Для непосредственного вычисления полной взаимной информации формулу (12.18) удобно записать в виде

где

P_ij = P ((X ~ x_i)(Y ~ y_j));

p_i = P (X ~ x_i); r_j = P (Y ~ y_j).

Дата добавления: 2014-12-27