Количественная мера информации

Учебные вопросы занятия.

Лекция 3 Понятие энтропии дискретных и непрерывных событий

ЛЕКЦИЯ

Защиты информации

Вопрос №3. Стационарные случайные процессы

В информационных системах очень часто встроены случайные процессы протекающие во времени приблизительно одинаково. Эти процессы имеют вид непрерывных колебаний около некоторого среднего значения причем ни характер колебания, ни само среднее значение не изменяется во времени - такие случайные процессы называются стационарными.

Процесс колебания напряжения в сети.

В динамических системах случайные процессы начинаются с так называемого переходного процесса, а затем переходит в установившийся режим, который можно назвать стационарным.

Стационарное понятие случайного процесса в узком смысле случайный процесс для которого функция распределения плотности вероятности произвольного порядка m не меняется при сдвиге всей группы точек вдоль оси времени. Для одномерного закона w₁(x₁ , t₁) = w₁(x₁ , t₁+ t.) Для двумерной функции распределения плотности вероятности

w(x₁ t₁, x₂ , t₂) = w(x₁ ,x₂ t₂- t₁ ) = w(x₁ , x₂, t.)

Поскольку математическое ожидание и дисперсия выражается через одномерный закон распределения плотности вероятности, то можно сделать заключение, что m и d не зависят от времени. Поскольку двумерная плотности распределения вероятности зависит от рзаности между моментами времени t₁ и t₂ то корреляционная функция случайного процесса зависит от длительности t.

Стационарным процессом в широком смысле называется случайные процессы, у которых математическое ожидание и дисперсия не зависят от времени, а корреляционная функция зависит от разности времени t.

A[x(t)] = A(x)

D[x(t)] = D(x)

K_xx (t₁ t₂ ) = K_xx (t)

по учебной дисциплине "Теория информации "

для студентов специальности 075500 (090105) – Комплексное обеспечение информационной безопасности автоматизированных систем

Ставрополь 2009 г.

Цель занятия: Изучить общие понятия количества информации и энтропии как меры неопределенности источника сообщений. Ознакомиться с основными свойствами энтропии дискретного источника. Изучить энтропию сложных сообщений.

1. .Колчественная мера информации
2. Энтропия сложных сообщений
3. Понятие энтропии непрерывных событий

В процессе передачи сообщения могут подвергаться различным преобразованиям существенно меняющим их физическую природу. Однако информация и ее количество должны оставаться инвариантными при всех преобразованиях. Сообщение принимаемое на приемной стороне несет информацию лишь в том случае, если имеется неопределенность относительно состояния источника сообщений. Пусть имеется источник который может передавать n независимых сообщений X_1... X_n c вероятностями Р(х₁)...Р(х_n). Естественно чем меньше априорная вероятность появления сообщения Х_i на выходе источника сообщения, тем большее количество информации оно несет. Поэтому естественно предположить, что количественная мера неопределенности одного сообщения обратно пропорциональна вероятности сообщения, т.е. 1/ Р(х_i).

Однако такая мера неудобная тем, что в том случае если вероятность появления сообщения равна единице, то количество информации равно единице. В действительности при передаче такого сообщения количество информации равно нулю.

Кроме того данная мера не обладает свойством аддитивности, т.е. если имеет место сложное сообщение состоящее из двух независимых сообщений X_i и Y_j, то вероятность такого совместного события будет равна произведению вероятностей появления этих сообщений, т.е. Р(X_i)Р(Y_j), тогда количество информации должно оцениваться как 1/ Р(X_i)Р(Y_j). Поэтому наиболее удобной мерой для оценки количества информации является логарифмическая мера

I = log_a(1/ Р(X_i)) (1)

При такой мере информационная передача сообщения X_i с вероятностью 1 не несет никакой информации. Для данной меры выполняется свойство аддитивности. При этом количество информации в сложном сообщении, представляющем совокупность событий X_i и Y_j будет равно

Выражение (1) характеризует количество информации содержащейся в сообщении X_i, но данное выражение также характеризует априорную неопределенность сообщения X_i.

H(X_i) = log_a(1/ Р(X_i)) (2)

Величину Н называют частной энтропией. Несмотря на совпадение (1) и (2) количество информации I и величина Н качественно различны.

Энтропия выражает неопределенность источника сообщения и если известна априорная вероятность появления сообщений, то может быть вычислена до получения сообщения.

Количество информации может быть вычислено лишь апостериорно. Энтропия есть мера недостатка информации о состоянии системы, которая снимается с поступлением информации.

(3)

Количество информации для всего источника сообщения будет определено по следующей формуле (3)

(4)

Энтропия источника сообщений определяется выражением (4)

Единицы измерения количества информации и энтропии зависят от выбора основания логарифма в выражениях представленных выше.

При анализе информационных процессов в ЭВМ и других устройствах, функционирующих на основе двоичной системы счисления, целесообразно использовать основание равное двум. При этом количество информации измеряется в битах (для десятичной системы счисления – единица измерения диты).

Дата добавления: 2014-01-13