Энтропия системы. Принцип максимизации энтропии

В рассмотренном примере существовала возможность дать рекомендации для выбора решения, поскольку были известны вероятности случайных событий. Однако часто возникают ситуации, когда эти вероятности неизвестны.

В системном анализе рассматриваются три вида неопределенностей в системах:

а) из-за недостаточного знания;

б) расплывчатость;

в) случайная неопределенность.

Для неопределенности случайного объекта существует количественная мера (неопределенности), называется энтропией.

Рассмотрим простейший вариант – случайное событие. Пусть некоторое событие может произойти с вероятностью Р₁ = 0,99 и не произойти с вероятностью Р₂ = 0,01, а другое событие имеет вероятности Р₁ = Р₂ = 0,5. Очевидно, что в 1-м случае результатом опыта «почти наверняка» является наступление события, во втором случае неопределенность исхода так велика, что от прогноза лучше воздержаться.

Если мы имеем дело со случайной числовой величиной, то для характеристики различности распределений используется дисперсия или доверительный интервал.

Д_х = для дискретной величины и

Д_х =

Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно (например, выбор тех или иных команд или спортсменов при жеребьевке и т.п.).

Следовательно, мера неопределенности, связанной с распределением случайного события должна быть некоторой его числовой характеристикой, функционалом от распределения, но никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.

Такой мерой неопределенности случайного объекта А с конечным множеством возможных состояний А₁ …А_n с соответствующими вероятностями р₁…р_n величину,

Н = -

которая называется энтропией случайного объекта А (или распределения {р_i}).

Действительно, любая большая система может рассматриваться как система, которая принимает некоторое множество состояний S₁, S₂, …S_n с вероятностями Р₁, Р₂, ….P_n соответственно. Энтропия системы, будучи, как видно из формулы, математическим ожиданием логарифма вероятности пребывания системы в некотором состоянии S, рассматривается в качестве меры разнообразия для множества возможных состояний S.

Эта функция соответствует выделенной К.Шенноном в теории информации «мере неопределенности». Если выбор любого состояния равновероятен, то неопределенность выбора максимальна и определяется общим числом возможных вариантов:

Н = - .

Величина Н(n) эквивалентна понятию энтропии в статистической физике H = k ×ln W, где W (Е) – статистический вес системы, или количество возможных квантовых состояний физической системы, внутренняя энергия которой не превосходит Е.

В связи со всем сказанным выше можно записать и еще одно утверждение в отношении энтропии:

Дата добавления: 2014-01-04