Формулировка задач и методические указания по их решению

Задача 1.

Источники сообщений с независимым появлением элементов алфавита характеризуются вероятностными характеристиками, приведенными в таблице 2.1. Определить энтропию каждого источника сообщения. Сравнить полученные результаты и сделать выводы.

Таблица 2.1 – Вероятностные характеристики источников информации

					Объем алфавита М
ИС1	0,1	0,2	0,3	0,4
ИС2	0,25	0,25	0,25	0,25
ИС3	0,5	0,5
ИС4	0,3	0,15	0,45	0,1

Методические указания по решению задачи.

Для первого источника сообщения ИС₁ с не равновероятным и взаимонезависимым появлением элементов алфавита, энтропия определяется по формуле (2.2), которую можно переписать в виде:

, (2.7)

где М – объем алфавита.

Следовательно, для 4-х элементного алфавита (объем алфавита М = 4):

Значения величин можно вычислить, используя стандартный калькулятор Microsoft Windows. В качестве иллюстрации на рисунках 2.3 – 2.11 показан порядок вычисления с использованием стандартного калькулятора Microsoft Windows по формуле

,

(2.8)

которая, после подстановки a = 0,1 принимает вид

.

(2.9)

Порядок вычисления реализуется за девять шагов:

Шаг 1. Вводим число 0,1 (рисунок 2.3).

Рисунок 2.3 – Вводим число 0,1

Шаг 2. Нажимаем кнопку и получаем результат вычисления (рисунок 2.4).

Рисунок 2.4 – Результат вычисления

Шаг 3. Нажимаем кнопку и сохраняем полученный результат вычисления в регистре памяти калькулятора (рисунок 2.5).

Рисунок 2.5 – Сохраняем полученный результат вычисления в регистре памяти калькулятора

Шаг 4. Вводим число 2 (рисунок 2.6).

Рисунок 2.6 – Вводим число 2

Шаг 5. Нажимаем кнопку и получаем результат вычисления (рисунок 2.7).

Рисунок 2.7 – Результат вычисления

Шаг 6. Нажимаем кнопку и получаем результат вычисления (рисунок 2.8).

Рисунок 2.8 – Результат вычисления

Шаг 7. Нажимаем кнопку операции умножения (рисунок 2.9).

Рисунок 2.9 – Выбор операции умножения

Шаг 8. Нажимаем кнопку и считывем из регистра памяти калькулятора полученный ранее результат вычисления (рисунок 2.10).

Рисунок 2.10 – Считывем из регистра памяти калькулятора полученный ранее результат вычисления

Шаг 9. Нажимаем кнопку и получаем искомый результат (рисунок 2.11).

Рисунок 2.11 – Выбор операции формирования результата вычислений

Таким образом, окончательно имеем

.

Для определения энтропии источников сообщений ИС₂ и ИС₃ с равновероятным и взаимонезависимым появлением элементов удобнее пользоваться формулой (2.3), которую можно переписать в виде:

. (2.10)

Расчет энтропии четвертого источника сообщения производится аналогично первому источнику по формуле (2.2).

Сравните полученные результаты расчетов энтропии рассмотренных источников сообщений и сделайте выводы. В выводах необходимо отразить:

1. Какой из рассмотренных источников сообщений обладает максимальной энтропией.

2. Зависит или не зависит энтропия источников сообщений от количества элементов алфавита.

3. Зависит или не зависит энтропия источников сообщений от распределения вероятностей элементов в алфавите.

Задача № 2.

Определить абсолютную и относительную избыточность (коэффициент избыточности) для источников сообщений, приведенных в первой задаче.

Методические указания по решению задачи.

Коэффициенты абсолютной и относительной избыточности источника сообщения, необходимо рассчитать по формулам (2.4) и (2.5).

Сделайте самостоятельные выводы об избыточности различных источников сообщений, рассмотренных при решении первой задачи.

Задача № 3.

Используя исходные данные первой задачи, рассчитать производительность источников сообщений, если средняя длительность буквы алфавита _.

Методические указания по решению задачи.

Информационная производительность дискретного источника R, бит/с, характеризует количество информации, рассчитывается по формуле (2.6).

Сделайте самостоятельные выводы о производительности различных источников сообщений, рассмотренных при решении первой задачи.

Задача № 4.

Построить график зависимости энтропии от распределения вероятности появления элемента для двоичного источника сообщения.

Методические указания по решению задачи.

Задача решается по формуле (2.2), которая для двоичного источника сообщений приобретает следующий вид:

.

Для построения графика необходимо провести расчет значений энтропии, изменяя величину от 0 до 1 с заданным шагом, например, равным 0,1. Рекомендуется для построения графика заполнить следующую таблицу (таблица 2.2).

Примечание – При решении задачи график зависимости от вероятности рекомендуется построить по точкам в табличном процессоре Microsoft Excel, используя данные таблицы 2.2. Пример построения графика в Microsoft Excel приведен в приложении А.

Таблица 2.2 – Результаты расчетов зависимости энтропии от

распределения вероятности появления элемента для

двоичного источника сообщения

		0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8	0,9
		0,9	0,8	0,7	0,6	0,5	0,4	0,3	0,2	0,1

Проанализируйте построенный график и сформулируйте основные свойства энтропии для двоичного источника сообщения (от чего она зависит и когда достигает максимального и минимального значений).

Содержание отчета и его форма

Отчет по лабораторной работе оформляется в виде документа Word, рабочей книги Excel (только для задачи № 2) и должен включать:

1. Названия лабораторной работы.

2. Цель лабораторной работы.

3. ФИО студента и номер учебной группы.

4. Формулировки задач и результатов их решения.

5. Краткие выводы по результатам выполнения лабораторной работы.

Оформленный отчет по лабораторному занятию передается преподавателю для проверки.

Контрольные вопросы для защиты работы

1. В чем заключается энтропийный подход к определению количества информации согласно Шеннону?

2. В каких единицах измеряется двоичная единица информации?

3. Что такое один бит?

4. Как записывается формула Шеннона для энтропии источника с независимым и не равновероятным алфавитом?

5. Какой источник информации обладает максимальной энтропией?

6. Как определить количество информации источника в сообщении из b элементов?

7. Как определить абсолютную и относительную избыточность источника сообщений?

8. Как определить количество информации, создаваемое источником в единицу времени?

9. Какие выводы можно сделать по результатам решения задач?

Приложение А

Пример построения графика в Microsoft Excel

Графики Microsoft Excel дают возможность графического представления различных числовых данных. В качестве иллюстрации рассмотрим пример построения графика по результатам годовых поставок некоторого товара за период с 2002 года по 2011 год в Microsoft Excel 2010.

Методика построения графика:

1. Введите данные «Год-Объем» на рабочий лист Excel в соответствии с рисунком А.1.

Рисунок А.1 - Подготовка данных для построения диаграммы

2. Выделите мышью диапазон А5:В14 и выполните команду Вставка | График (рисунок А.2). Результат построения графика показан на рисунке А.3. Как видно на рисунке А.3 легенда «Ряд1» соответствует координатам точек графика вдоль горизонтальной оси, т. е. году. Согласно подготовленным данным для построения графика (рисунок А.1) года должны принимать значения 2002, 2003, …, 2011. Фактически на рисунке А.2 года принимают значения 1, 2, …, 11. Чтобы привести в соответствие нумерацию точек вдоль оси «Год» подготовленным данным вызовем контекстное меню области графика и выберем в нем команду «Выбрать данные» (рисунок А.4).

Рисунок А.2 - Выделен мышью диапазон А5:В14 и выбрана команда Вставка | График

Рисунок А.3 - Результат построения графика

Рисунок А.4 - В контекстном меню области графика и выбрана команда «Выбрать данные»

3. Откроется диалоговое окно «Выбор источника данных» (рисунок А.5). Здесь следует нажать кнопку «Изменить» для подписи горизонтальной оси (категории).

Рисунок А.5 - Диалоговое окно «Выбор источника данных»

4. Откроется диалоговое окно «Подписи оси» (рисунок А.6). Здесь следует нажать кнопку с пиктограммой для задания требуемых значений подписи горизонтальной оси (рисунок А.7).

Рисунок А.6 - Диалоговое окно «Подписи оси»

Рисунок А.7 - В диалоговом окне «Подписи оси» указан диапазон ячеек листа Excel с данными для подписи горизонтальной оси (категории)

Далее следует, нажав кнопку «ОК», закрыть диалоговое окно «Подписи оси».

5. В результате диалоговое окно «Выбор источника данных» примет вид, показанный на рисунке А.8. Далее следует, нажав кнопку «ОК», закрыть это диалоговое окно. Конечный результат построения графика показан на рисунке А.9.

Рисунок А.8 - Диалоговое окно «Выбор источника данных» после корректировки подписи горизонтальной оси

Рисунок А.9 - Конечный результат построения графика в Microsoft Excel 2010

Дата добавления: 2015-07-02