Теория информации

Цель работы Изучение вероятностного подхода к понятию количества информации. Исследование зависимости между вероятностью появления символа источника информации и его энтропией. Получение и закрепление навыков работы в MS Excel.

Указания к выполнению работы

Определения и формулы

Количество информации – это количество сведений, содержащихся в том или ином информационном элементе (в символе кода или сообщении).

Единица количества информации - двоичная единица информации или бит.

В статистической теории информации в качестве меры количества информации используют энтропию.

Энтропия – мера неопределенности состояния системы.

Энтропия сообщения (или энтропия источника сообщений) – это количество информации, в среднем приходящееся на каждое из М сообщений с вероятностями (i =1, 2,…,M).

Энтропия источника символов – это количество информации, в среднем приходящееся на каждый из К символов, появляющихся на выходе кодирующего устройства с вероятностями ( – i -тый символ алфавита, i =1, 2,…,K).

Энтропия ансамбля из N событий, имеющих вероятности (i =1, 2,…,N), равна:

(*)

Указанная величина обладает следующими основными свойствами:

1) Энтропия является вещественной и неотрицательной величиной;

2) Энтропия – величина ограниченная;

3) Энтропия обращается в нуль, только если вероятность одного из состояний равна единице. При этом вероятности всех остальных состояний будут равны нулю;

4) Максимального значения энтропия достигает при равновероятных событиях. При этом она равна:

(**)

5) Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Задания к лабораторной работе

1 задание:

Для заданного русского текста вашего варианта (количество символов в тексте М=90-110)

• Найдите:

а) Алфавит источника русских букв (исходя из заданного текста);

б) Количество(K) источника русских букв (количество букв в полученном

алфавите);

в) Количество появлений каждой i -ой буквы в тексте - ;

г) Определите для каждой буквы алфавита частоту ее появления по следующей

формуле: ;

д) Для каждой буквы алфавита найти значение энтропии (количества информации

содержащееся в i-ой букве) по формуле: ;

е) Энтропию источника русских букв по формуле: ;

ж) Энтропию источника русских букв при условии, что появление всех символов

равновероятно.

• Постройте график зависимости энтропии элемента от вероятности его появления .

Все вычисления по лабораторной работе и график выполнять в программе Microsoft Excel.

Примерный вид расчетной таблицы:

	А	B	C	D	E	F
		Буква	n[i]	P[i]	h[i]	h[i]* p[i]
		А		0,04
		Б		0,02
…		…
		Я		0,03
			Значение М			Значение H

В ячейке С21 формула = СУММ(С3:С20)

В ячейках D3-D20 формула = Cx/C21 (x – меняется от 3 до 20)

В ячейке D21 формула = СУММ(D3:D20)

В ячейках E3-E20 формула =-log(Dx;2) (x – меняется от 3 до 20)

В ячейках F3-F20 формула =Ex*Dx (x – меняется от 3 до 20)

В ячейке F21 формула = СУММ(F3:F20)

Варианты заданий

1. Слово информация заимствовано из латинского языка и в дословном переводе означает «изложение», «разъяснение».

2. Закон признает информацией сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы их представления.

3. Семантической информацией называют информацию, содержащуюся в высказываниях и передаваемую через значения единиц речи.

4. Измерительной информацией называют информацию о значениях физических величин, а также данные о погрешности измерений.

5. Ключевой информацией называют такие новые сведения, которые не могут быть подсказаны ни контекстом, ни ситуацией.

6. Документальная информация закрепляется посредством какой-либо знаковой системы на бумаге или ином материальном носителе.

7. Генетическая информация определяет морфологическое строение, рост, развитие, обмен веществ, а также иные признаки организма.

2 задание:

Чему равна энтропия системы, состояние которой описывается дискретной величиной со следующим распределением вероятностей.

	P1	P2	P3	P4
1 вариант	0,1	0,2	0,3	0,4
2 вариант	0,5	0,1	0,3	0,1
3 вариант	0,2	0,3	0,4	0,1
4 вариант	0,1	0,2	0,1	0,2
5 вариант	0,4	0,4	0,1	0,1
6 вариант	0,2	0,3	0,2	0,3
7 вариант	0,3	0,3	0,3	0,1

Дата добавления: 2015-07-02