Понятие неопределенности. Энтропия и ее свойства. Количество информации

Информация и энтропия. Энтропия характеризует недостающую информацию. В изучение любых систем вводится человеческий фактор, что приводит к неточностям. Для измерения, определения этих неточностей и существует понятие неопределённости. Первым понятием теории информации является понятие неопределённости случайного объекта. Для количественной оценки этой неопределённости было введено понятие, называемое энтропией, т.е. энтропия – это количественная мера неопределённости.

Например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятность соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта, эксперимента почти наверняка является наступление события, а во втором случае неопределённость так велика, что от прогноза следует воздержаться.

В качестве меры неопределённости в теории информации было введено понятие, называемое энтропией случайного объекта или системы. Если какой-либо объект А имеет состояние А1, …, Аn а вероятность каждого из этих состояний p1, …, pn, то энтропия этого события

Рассмотрим свойства этой энтропии:

1) Если вероятность наступления одного из n-событий = 1, то энтропия этого состояния = 0

2) Энтропия достигает своего небольшого значения в том случае, если вероятности равны между собой, т.е. , если:

3) Если объекты А и В независимы, то их энтропия равна сумме энтропий каждого объекта

.

4) Если объекты А и В зависимы, то энтропия их

т.е. при условии наступления события А.

5) Энтропия события энтропии события А при событии В т.е. информация об объекте В всегда уменьшает неопределённость события А, если А и В зависимы, и не изменяются, если события А и В независимы.

Вывод: свойства функционала Н возможно использовать в качестве меры неопределённости, причём следует отметить, что если пойти в обратном направлении, т.е. задать желаемые свойства меры неопределённости и искать обладающий указанными свойствами функционал, то условия 2 и 4 позволяют найти этот функционал, причём единственным образом.

Количество информации можно интерпретировать как изменение неопределённости в результате передачи сигналов. При этом полезный или отправляемый сигнал является последовательностью независимых символов с вероятностью , принимаемый сигнал является также набором символов того же кодирования (алфавита), и если у нас отсутствует шум, воздействующий на эту передачу, то принимаемые и отправляемые сигналы , но поскольку при любой передаче у нас есть помехи, т.е. идёт искажение сигнала, то на приёмной, так и на передающей сторонах системы у нас появится неопределённость. На передающей стороне – априорная энтропия, а на приёмной стороне – апостприорная.

Чтобы оценить количество информации, которое было передано от одного объекта к другому, берётся разность априорной и апостприорной информации. И количество информации в этом случае – разница между энтропиями

Свойства количества информации:

1) Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно Х

2) Количество информации всегда неотрицательно

3) Для дискретных объектов Х справедливо равенство

Таким образом, количество информации требует единицы измерения, за единицу энтропии принимают неопределённость случайного объекта, у которого энтропия его равна 1

Для конкретизации берётся k = 2 и основание log m = 2, тогда получается тождество

.

Решением этого тождества является частный случай

За единицу информации принята величина, называемая битом («БИТ»). Если мы берём за основание

log е (ln) (натуральный log), то единица информации – «НИТ».

Дата добавления: 2015-04-24