Принцип необходимого разнообразия Эшби

В теории информации мерой разнообразия состояния объекта служит «энтропия». Это понятие связано с мерой количества информации.

Если состояние объекта характеризуется одним показателем y, принимающим значения y₁, y₂,…, y_n, то сообщение Y о том, что объект находится в одном из этих состояний, будет содержать количество информации, равное его энтропии:

,

где p(y_i) – вероятность того, что объект может находиться в состоянии (y_i), при этом очевидно . Вообще говоря, основание логарифма выбирается из соображений удобства. Если основание логарифма, как в нашем случае, равно 2, то энтропия объекта измеряется в битах, если основание равно 10, то в «хартли», а если равно основанию натурального логарифма, то в «натах». Правда в учебнике информатики Макаровой приводится ещё одна единица информации – “дит”.

Если состояние объекта характеризуется m -показателями, то

– это известная формула Шеннона-Хартли.

Энтропия является мерой, описывающей неопределенность в состоянии объекта. Если объект находится в состоянии, которое нам известно, то его энтропия тождественно равна нулю. Рассмотрим теперь в качестве объекта изучения элемент управляемой системы – объект управления (ОУ). Если ОУ под действием управляющего воздействия достиг желаемого состояния, то его энтропия равна нулю H(Y)=0. Иными словами, в системе управления под действием управляющих воздействий неопределенность относительно состояний ОУ должна уменьшаться, так как в конечном счете ОУ должен занять определенное желаемое состояние с вероятностью, равной 1. С получением сведений об ОУ неопределенность его состояния для системы управления уменьшается.

Количество информации в сведениях, уточняющих знание о состоянии ОУ определяют как разность энтропии до и после сообщения Y’:

I(Y, Y’) = H(Y) - H(Y/Y’),

где H(Y/Y’) – энтропия ОУ после сообщения Y’. Если полученное сообщение Y’ характеризует состояние ОУ полностью, т.е. снимает всю неопределенность, то H(Y/Y’)=0. здесь идет речь о информации как о физической величине. В теории информации устанавливаются следующие свойства информации:

1. неотрицательность I(А, В) ≥ 0

2. симметричность – количество взаимной информации I(А, В), которое содержит принятое сообщение равное количеству информации I(В, А), которое содержит посланное сообщение о принятом: I(А, В) = I(В, А)

Здесь предполагается, что приемник и передатчик соединены идеальным каналом связи, то есть помехозащищенным. Для реального канала связи эти количества информации не совпадают!

Дата добавления: 2015-01-03