Винер (Wiener)

Поэтому, например, формула Шеннона даст один и тот же результат для двух методов лечения больного, один из которых приводит к полному выздоровлению в 90 случаях из 100 и к заметному улучшению состояния больного в остальных случаях, а второй так же вполне успешен в 90 случаях из 100, но зато в остальных 10 случаях завершается смертельным исходом. Существенное различие между двумя опытами в этих случаях должно оцениваться совсем другими характеристиками, отличными от энтропии Шеннона.

Отмеченная особенность энтропии H(a) объясняется тем, что первоначально она была предложена для решения вопросов теории передачи сообщений по линиям связи, т.е., в тех условиях, при которых конкретное содержание самого сообщения совершенно несущественно.

Наряду с понятием энтропии H(a), Шеннон вводит еще и разностную меру J(a) для зависимых опытов a и a ₁, указывающую, насколько осуществление опыта a ₁ уменьшает неопределенность опыта a:

где – энтропия опыта , позволяющая уменьшить неопределенность опыта a.

J (a) – информация об опыте a, содержащаяся в опыте .

Дата добавления: 2014-11-18