Измерение количества информации. К. Шеннон разработал вероятностный подход к измерению информации

К. Шеннон разработал вероятностный подход к измерению информации. Если сообщение уменьшает неопределенность в два раза, то это сообщение несет 1 бит информации.

Энтропия сообщения измеряется по формуле Шеннона: (для не равновероятных событий).

При равновероятных событиях сумма вероятностей всегда равна единице:

Энтропия – мера неопределенности.

Свойства энтропии:

1. если одно событие достоверно, то оно всегда произойдет,

2. энтропия максимальна, если известно число составляющих систем и они равновероятны,

3. свойство аддитивности: если объединить несколько независимых систем в одну, то их энтропия складывается.

КОЛИЧЕСТВО ИНФОРМАЦИИ – мера информации, сообщаемая появлением события

определенной вероятности; в математическом обозначении эта мера Н(х) для события х выражается как логарифм обратной величины вероятности Р(х) того, что заданное событие произойдет.

СТ ИСО 2382/16 – 78

А.Н. Колмогоров: количество информации, содержащееся в последовательности символов, определяется минимально возможным количеством двоичных знаков, необходимых для кодирования этой последовательности без относительного содержания представляемого сообщения – это объективный или алфавитный (объемный) подход.

16 сентября

Дата добавления: 2014-01-20