Энтропия как мера степени неопределенности системы

Понятия возможности, случайности, вероятности находятся в опре­деленном отношении с понятием неопределенности. Неопределенность существует объективно. Она всегда имеет место тогда, когда производится выбор из некоторой совокупности элементов одного элемента. Степень неопределенности выбора характеризуется отношением числа выбран­ных элементов к общему числу элементов совокупности (множества). Если множество состоит из одного элемента, то степень неопределенности рав­на нулю. Вероятность выбора в этом случае равна 1. Множество из двух элементов имеет вероятность выбора, равную p = . Степень неопределен­ности здесь будет равна 2. Вообще увеличение числа элементов в множестве ведет к росту степени неопределенности и к уменьшению вероятности выбора одного элемента. Бесконечное число элементов в множестве соот­ветствует бесконечной неопределенности и нулевой вероятности. Из этого видно, что степень неопределенности и степень вероятности связаны друг с другом. Зная вероятность, можно определить степень неопределенности. Если мы должны угадать одно из 20 чисел, то, исходя из соображений равновозможности, вероятность угадать задуманное число будет состав­лять , а степень неопределенности равна 20. Однако при этом простой зависимости H=не получается (здесь Н — степень неопределенности и р — вероятность выбора элемента). При р = 0 степень неопределенности равна бесконечности: Н = = Если же р = 1, то Н = = 1, что является неверным, так как при р = 1 степень неопределенности должна быть равна 0, ибо в множестве один элемент выбирать не из чего. В связи с этим зави­симость между неопределенностью Н и вероятностью р измеряется логарифмом величины :

H=log=-log p. (4.1)

При этом можно брать логарифмы по любому основанию, но принято брать логарифмы по основанию два.

Изучением степени неопределенности и связи ее с вероятностью за­нимается статистическая теория информации. Формула Н = log₂ является логарифмической мерой количества информации. В теории информации рассматриваются любые события, в результате которых уменьшается, уничтожается, исчезает неопределенность.

Для оценки количества информации, связанной с появлением одного сообщения, пользуются формулой:

h_i= -log₂p_i (4.2)

где p_i - вероятность появления события S_t.

Такую оценку индивидуального количества информации называют индивидуальной энтропией. Индивидуальная энтропия события тем боль­ше, чем меньше вероятность его появления. Однако статистическую тео­рию информации не интересует индивидуальное количество информации. Существенной для характеристики любого опыта являются не информации n₁, n₂,..., n_N, связанные с отдельными исходами опыта, а средняя информа­ция, которая определяется следующим образом.

Пусть для некоторого события х известно, что количество различных исходов равно N, а вероятности их равны соответственно p_l,p₂,-,p_N, при­чем _Pl +р₂ +... + p_N = 1.

В результате достаточно большого числа испытаний (их число равно М) получено, что первый исход наступил m₁ раз, второй — т₂ раз,.., N-й — т_N раз (m₁, + т₂ +... + т_N = М). Известно, что в результате единичного наступления i-го исхода опыта получаем индивидуальное ко­личество информации:

ni=-logpi, (i=1, 2, …, N).

Поскольку первый исход наступил m₁ раз, то полученное при этом суммарное количество информации равно n₁m₁ где n₁ - индивидуальное количество информации, полученное в результате одного наступления первого исхода опыта. Аналогично получаем суммарное количество ин­формации, полученное при наступлении второго исхода опыта и т. д. Об­щее количество информации, полученное в результате М испытаний, равно

n₁m₁ + n₂m₂ + … + n_Nm_N

а среднее количество информации, полученное в одном испытании, равно

При

Отсюда получаем среднее количество информации, характеризующее событие х:

H(x) = n₁p₁ + n₂p₂ + … + n_Np_N = -p₁logp₁ -p₂logp₂- … - p_Nlogp_N

Предположим, что опыт состоит в извлечении одного шара из ящика, в котором находится один черный и два белых шара. Исходя из классиче­ского подхода, вероятность выбора черного шара равна , а вероятность выбора белого шара равна . Среднее значение неопределенности полу­чается, если вероятность отдельного исхода умножается на его неопреде­ленность, и эти произведения складываются:

H=бит.

В общем виде формула степени неопределенности (количества ин­формации в битах) имеет следующий вид:

H = (4.3)

Эта формула предложена в 1948 г. К. Шенноном. Ее называют еще формулой абсолютной негэнтропии. Она аналогична формуле энтропии, только имеет отрицательный знак.

Знак минус в правой части приведенного уравнения использован для того, чтобы сделать величину H положительной (поскольку p_i <1, log₂p_i, ≤0, =l). Понятие энтропии ввел немецкий физик-теоретик Р. Клаузиус в 1865 г. Термин происходит от греческого слова — entrope - «замкнуть внутри». Он обозначает меру деградации какой-либо системы. В 1872 г. австрийский физик Л. Больцман связал энтро­пию с вероятностью состояния. Изменения энергии в изолированной системе описываются вторым законом термодинамики, который был сформулирован следующим образом: теплота не может сама собою пе­рейти от более холодного тела к более теплому. Суть этого закона со­стоит в том, что способность изолированных систем совершать работу уменьшается, так как происходит рассеивание энергии. Формула энтро­пии определяет степень беспорядка, хаотичности молекул газа в сосуде. Естественным поведением любой системы является увеличение энтро­пии. Если энтропия имеет тенденцию к возрастанию, то система теряет информацию и деградирует. Чтобы система не деградировала, необхо­димо внести в нее дополнительную информацию (негэнтропию). Отсюда энтропия есть мера дезорганизации, а информация есть мера организо­ванности. Всякий раз, когда в результате наблюдения система получает какую-либо информацию, энтропия этой системы уменьшается, а энтро­пия источника информации увеличивается.

По приведенной формуле определяется среднее количество инфор­мации в сообщениях при неравновероятных исходах опыта. Легко заме­тить, что при равновероятности исходов формула

H=

превращается в формулы:

H = - log p u H_max = log N,

поскольку сумма всех p всегда равна 1 и каждое р_i = р. Запишем формулу Шеннона в виде:

H =

Пусть все исходы равновероятны, тогда:

p₁= p₂ = … = p_N = ;

подставив эти значения в формулу, получим:

H =

Из формулы степени неопределенности видно, что среднее количе­ство информации в битах в дискретном сообщении о простом событии оп­ределяется как отрицательная сумма вероятностей всех возможных собы­тий, умноженных на их логарифмы по основанию 2. Количество информа­ции выше среднего приходится на события, вероятность которых ниже. Более высокую информационную емкость имеют редкие события. Форму­лой подтверждается также более низкая неопределенность систем с более высокой вероятностью событий. Поскольку вероятность одних событий повышается за счет снижения вероятности других (так как сумма всех ве­роятностей равна 1), энтропия становится тем ниже, чем менее вероятны события, а максимума она достигает при равновероятности всех событий.

Покажем, что Н_mаx, получаемое при равновероятных исходах собы­тия, является верхней границей значений Н. Для этого найдем максималь­ное значение функции

H(_Pl, р₂, p_N),

используя множитель Лагранжа l.

Найти max F = .

Приравняем к нулю частные производные функции по р_i:

.

Отсюда log p_i =-loge-l и легко видеть, что все p_i =, следовательно, Н = Н_max. Если же событие является достоверным (при этом p_i = 1, а остальные p_i =0, i j, то

Н = -0 * log0 - 0 * log0 +... -1 * logl +... - 0 * log0.

Легко показать, что выражение0 * log0 = 0• () = 0. Раскроем неопре­деленность, используя правило Лопиталя:

.

Тогда получим Н = 0 для достоверного события.

Следовательно, среднее количество информации находится в пределах

0≤H≤H_max

Теперь можно сформулировать определение условной вероятности. Если случайная величина х принимает значения x₁, x₂,..., x_N а случайная величина y принимает значения y₁, y₂,..., y_N, то условной вероятностью называется вероятность того, что х примет значение x_i если известно, что у приняло значение y_i.

Безусловная вероятность р (x_i) равна условной вероятности, усред­ненной по всем возможным значениям y:

(4.4)

где p(y_i) - вероятность j-го значения величины у, величина — вероятность того, что у примет значение y_j a x -значение х_i Она называется совместной вероятностью события (x_iy_i) и обозначается p (x_iy_i).

Очевидно, если события х и у независимы, то

p(x_i)= p (x_iy_i) (4.5)

Неопределенность события х определяется по формуле:

(4.6)

Если события x и y зависимы, и событие y приняло значение y_i, то неопределенность события x становится равной

(4.7)

Так как событие у может принимать значение y₁, y₂,..., y_M c веро­ятностями р(₁), р(у₂), … p(y_M), средняя неопределенность события х при любых возможных исходах события у равна:

(4.8)

Это условная негэнтропия случайной величины х при задании слу­чайной величины у. Она всегда не больше безусловной

Н(х/у)≤Н(х),

причем равенство имеет место только в том случае, когда знание величины у не меняет вероятностей значений величины х, т. е.

= ,

каким бы ни было значение у_i. Это условие означает, что неопределен­ность события х не возрастает от того, что событие у становится извест­но.

Для двух случайных событий х и у энтропия совместного события равна:

В полученном выражении

,

а второе слагаемое есть не что иное, как H(x/y).

Следовательно,

H(y,x) = H(y) + H(x/y)≤H(y) + H(x) (4.9)

Равенство достигается тогда, когда события х и у независимы.

В качестве меры количества информации в случайной величине у о случайной величине х принимается величина, на которую уменьшается в среднем неопределенность величины х, если нам становится известным значение величины у:

Эта формула выражает количество информации в случайной величи­не у о случайной величине х, как разность между безусловной и условной негэнтропией.

По формуле условной негэнтропии строится вся современная стати­стическая теория информации. Переход от абсолютной негэнтропии к ус­ловной приобретает фундаментальное решающее значение. Формула ус­ловной негэнтропии выражает количество информации относительно за­данной системы отсчета, системы координат. Иначе говоря, она характери­зует количество информации, содержащееся в одном объекте относитель­но другого объекта.

Классическая теория информации дает полезный аппарат, но он не универсален и множество ситуаций не укладываются в информационную модель Шеннона. Далеко не всегда можно заранее установить перечень возможных состояний системы и вычислить их вероятности. Кроме того, основным недостатком этой теории является то, что, занимаясь только формальной стороной сообщений, она оставляет в стороне их ценность и важность. Например, система радиолокационных станций ведет наблюде­ние за воздушным пространством с целью обнаружения самолета против­ника. Система S, за которой ведется наблюдение, может быть в одном из двух состояний: x₁ - противник есть, х₂ - противника нет. Выяснение фак­тического состояния системы принесло бы в рамках классической теории информации 1 бит, однако первое сообщение гораздо важнее, что оценить невозможно с помощью вероятностного подхода.

Статистическая теория информации оперирует лишь вероятностями исходов рассматриваемых опытов и полностью игнорирует содержание этих исходов. Поэтому эта теория не может быть признана пригодной во всех случаях. Понятие информации в ней трактуется весьма односторонне.

Следовательно, уничтожение неопределенности, т. е. получение ин­формации, может происходить не только в результате вероятностного процесса, но и в других формах. Понятие неопределенности оказывается шире понятия вероятности. Неопределенность — понятие, отражающее отсутст­вие однозначности выбора элементов множества. Если этот выбор имеет случайный характер, то мы имеем дело со статистической теорией инфор­мации. Если же этот выбор не случаен, то необходим невероятностный подход к определению информации. Существуют следующие невероятностные подходы к определению информации: динамический, топологиче­ский, алгоритмический. Мы не будем рассматривать эти невероятностные подходы к определению количества информации, отметим только, что ка­ждый из этих методов обнаруживает нечто общее со статистическим под­ходом. Оно состоит в том, что эти методы изучают переход от неопреде­ленности к определенности. Но все же эти методы отличаются от статис­тического подхода. Один из невероятностных подходов к определению ко­личества информации принадлежит советскому ученому А. Н. Колмогорову. По аналогии с вероятностным определением количест­ва информации как функции связи двух систем, он вводит определение ал­горитмического количества информации.

Количество информации, содержащееся в сообщении, можно связы­вать не только с мерой неопределенности системы, но и с ее структурной сложностью и точностью измерений. Такой подход предлагается к оценке научной информации, возникающей в результате анализа процесса наблю­дений и эксперимента.

Количество различных признаков, характеризующих данный пред­мет, т. е. его размерность или число степеней свободы, является мерой структурной информации. Ясно, что цветное изображение содержит в себе больше информации по сравнению с черно-белым изображением того же объекта. Единица структурной информации — логон — означает, что к имеющемуся представлению можно добавить одну новую различимую группу или категорию.

Количество метрической информации связано с разрешающей спо­собностью измерений. Например, эксперимент, результат которого обла­дает погрешностью, равной 1 %, дает больше информации, чем экспери­мент, характеризующийся погрешностью в 10 %.

Единицей измерения метрической информации является метрон. В случае числового параметра эта единица служит мерой точности, с кото­рой этот параметр определен.

Статистический и нестатистический подходы в теории информации касаются только количества информации, но информация имеет еще и ка­чественный аспект. Объединение элементов в множество всегда предпола­гает наличие у них некоторого свойства, признака, благодаря чему они об­разуют данное множество, а не иное. Следовательно, каждый элемент множества обладает определенным качественным отличием от элемента другого множества. Кроме того, внутри множества различие элементов друг от друга носит тоже качественный характер. Поиск качественного аспекта информации как раз и состоит в учете природы элементов, объеди­няемых в множества, в учете качественного многообразия материи.

До сих пор информация рассматривалась как снятая, устраняемая неопределенность. Именно то, что устраняет, уменьшает любую неопре­деленность и есть информация. Однако информацию можно рассматри­вать не только как снятую неопределенность, а несколько шире. Напри­мер, в биологии информация — это, прежде всего, совокупность реаль­ных сигналов, отображающих качественное или количественное различие между какими-либо явлениями, предметами, процессами, структурами, свойствами. Такой более широкий подход к определению понятия ин­формации сделал У. Росс Эшби. Он считает, что понятие информации не­отделимо от понятия разнообразия. Природа информации заключается в разнообразии, а количество информации выражает количество разнообра­зия. Одно и то же сообщение при разных обстоятельствах может содер­жать различное количество информации. Это зависит от разнообразия, которое наблюдается в системе.

Слово «разнообразие» означает число различных элементов в мно­жестве. Так, например, множество с, b, с, а, с, с, а, b, с, b, b, а, если не при­нимать во внимание порядок расположения элементов, содержит 12 элементов, и только три из них различные: а, b, с. Такое множество имеет разнообразие в три элемента.

Множество с разнообразием и множество с вероятностями имеют эк­вивалентные свойства. Так, множество, у которого все элементы различны, имеет максимальное количество разнообразия. Чем больше в системе раз­нообразия, тем больше неопределенность в поведении такой системы. Уменьшение разнообразия уменьшает неопределенность системы. Вероят­ность выбрать наугад данный элемент из множества с максимальным раз­нообразием равна единице, деленной на количество всех элементов мно­жества . Нетрудно видеть, что это аналогично статистической совокупности с равномерным распределением вероятностей. Количество инфор­мации в этом случае имеет максимальное значение. Множество, у которого все элементы одинаковы, содержит минимальное количество разнообразия — всего в один элемент. Аналогией такого множества является ста­тистическая совокупность с таким распределением вероятностей, когда одна из них равна единице, а остальные нулю. Количество информации в такой совокупности равно нулю. В множестве информация появляется только тогда, когда один элемент отличается от другого. Подобно вероят­ности разнообразие может измеряться как число различных элементов и как логарифм этого числа, например, по основанию два. Между мини­мальным и максимальным количеством разнообразия во множестве сущест­вует ряд промежуточных состояний, которые появляются в результате ог­раничения разнообразия. Понятие ограничения разнообразия является очень важным. Оно представляет собой отношение между двумя множествами. Это отношение возникает, когда разнообразие, существующее при одних условиях, меньше, чем разнообразие, существующее при других ус­ловиях.

Ограничения разнообразия весьма обычны в окружающем нас мире. Любой закон природы подразумевает наличие некоторого инварианта, по­этому всякий закон природы есть ограничение разнообразия.

Окружающий мир чрезвычайно богат ограничениями разнообразия. Без ограничений разнообразия мир был бы полностью хаотичным. Огра­ничение разнообразия соответствует уменьшению количества информа­ции, поэтому ограничение разнообразия равносильно установившемуся в статистической теории понятию избыточности. Избыточность тем больше, чем больше ограничение разнообразия. Если же элементы в множестве одинаковы, то избыточность равна единице. Если в ящике все шары ока­зываются одинакового цвета, то их избыточность по цвету равна единице, если же все шары будут разного цвета, то избыточность равна нулю. Нали­чие у информации качества вызывает необходимость в классификации ви­дов информации. Различают элементарную информацию, т. е. информацию в неживой природе, биологическую, логическую, человеческую, или соци­альную. Для социальной информации характерно выделение двух аспек­тов: семантического, связанного с содержанием сообщений, и прагматического, связанного с полезностью их для получателя.

Дата добавления: 2014-01-11