Информация как степень неопределенности

Информация в общем случае передается словами разной длины. Количество информации определяется не по ее смысловой ценности, а по длине слова.

Пусть из алфавита A = {a₁;a₂;…;a_m} формируются слова из n букв (x₁;x₂;…;x_n), которые передаются по каналу сообщения.

Ясно, что из m символов можно образовать N слов длиной в n букв: N=mⁿ- это число перестановок с неограниченными повторениями.

Пусть любое из них равновероятно, т.е. p = 1/N.

Тогда неопределенность получения заданного слова растет с ростом N и тем больше информации должно содержаться в конкретном исходе.

Число N является мерой информации. Эта мера не обладает свойствами аддитивности, что неудобно при конструировании формальных систем с поведением.

Если перейти к логарифмической шкале отсчета, то свойство аддитивности выполняется (логарифмическая линеаризация):

J = log N при N = mⁿ имеем J = n*log m.

Удельная информация, содержащаяся в одном символе. определяется как H = J/n = log m.

Если m = 2, то каждый символ будет передаваться как система кодов в виде цепочки символов, состоящей из нулей и единиц.

Каждый разряд несет log₂2 = ld2 = 1 одну единицу информации, называемую битом или двоичной единицей информации.

При m = 10 единица информации называется дитом:

1 дит = lg10 = ld2^x = 3.32 бит.

Примеры

1. Для трафарета 5 ´ 7 определить число бит информации, содержащейся при высвечивании одного символа.

Так как число ячеек 35, каждая из которых несет один бит информации, то получаем в сумме 35 бит информации.

2. Для телевизионного кадра имеем 625 строк, в строке 600 точек, в каждой точке 8 градаций черного; имеем:

I = 625*600*ld8 = 625*600*3 = 1.125*10⁶ бит.

Если вероятности передачи сигналов произвольны, то переходим к формулам К. Шеннона.

Информативность передачи одного символа определяется как математическое ожидание логарифмических составляющих:

h = = M[log P_i] = SP_i * log(1/P_i),

т.е как среднее значение частных энтропий. Величина P_iÎ[0,1]. Чем меньше P_i, тем больше частная энтропия h_i. При P_i=1 частная энтропия равна 0.

О характере функции h_i = f(P_i) = P_i * ld (1/P_i) можно судить по следующему дискретному ряду ее значений:

Pi		0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1.0
hi		0.332	0.47	0.52	0.52	0.5	0.44	0.35	0.25	0.13	0.00

В случае бинарных сообщений из частных энтропий h_i общая энтропия определяется из соотношения:

H = h(p₁) + h(p₂) при p₁ + p₂ = 1,

т.е. H = -p₁*ld p₁– (1-p₁)*ld (1-p).

Кривая H симметрична относительно точки p₁ = 0.5.

p1		0.1	0.2	0.3	0.4	0.5	0.6	…
H		0.48	0.72	0.87	0.96		0.96	…

Графики составляющих функций H приведены на рис. П.2.1.

Упражнение

1. В табл. П.2.1. приведены данные x_ср, определяющие код последовательного эксперимента по учету посещения занятий студентом; x_ср определяет относительную степень посещаемости x_срÎ [0;1]. Определить характер кривой H = f (x_ср). Предложить интерпретацию получаемого результата для данной задачи.

2. В табл. П.2.1 имеется оценка априорных знаний студента, определяемая по его зачетке: y_ср Î [3;5].

Требуется нормировать значение y_ср на [0;1] и оценить, подобно x_ср, характер изменения энтропийной меры в этом случае.

Дата добавления: 2014-12-07