Свойство энтропии

1.Энтропия всегда положительна, так как 0

Log₂=p_i=-(-a)=a>0

2.Энтропия равна нулю (Н=0) в том случае, когда событие равно единице, а все остальные нулю. Это тот случай, когда об опыте или величине все известно заранее и результат не приносит никакой новой информации.

3. Энтропия имеет наибольшие значение в том случае, когда все вероятности равны между собой

Р₁=р₂=…=р_i=…=p_k=1/k

В этом случае

Н=-log₂

Н=-

Статистическая мера информации совпадает с логарифмической мерой Хартли

I’=log₂L I=l log₂L

K=h, p_i=p₁=p₂=…=p_k

Дата добавления: 2014-01-13