Геометрическая мера

Структурный подход к измерению информации

ОТВЕТ

Информация как снятая неопределенность

ЗАДАНИЕ 3

Сколько следует задать вопросов и как их следует формулировать, чтобы оценить сообщение о том, что вагон стоит на одном из 16 путей?

ОТВЕТ. 4 бита.

ЗАДАНИЕ 4

Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать сообщение о том, где находится шарик?

ОТВЕТ. 6 бит.

ЗАДАНИЕ 5

Определите, сколько бит информации несет сообщение о том, что на светофоре горит зеленый свет.

ОТВЕТ. log₂3 = 1,585 (бит)

ЗАДАНИЕ 6

Вы бросаете два кубика с нанесенными на гранях цифрами от 1 до 6.

Определите, сколько бит информации несет сообщение, что на одном кубике выпала тройка, а на другом - пятерка.

ОТВЕТ. log₂6 + log₂6 = 2,585 + 2,585 = 5,17 (бит)

ЗАДАНИЕ 7

Предположим, вероятность того, что вы получите за контрольную работу оценку “5”, равна 0,6; вероятность получения “4” равна 0,3; вероятность получения “3” - 0,1. Определите, сколько бит информации будет нести сообщение о результатах контрольной работы в каждом из возможных случаев.

“5”: I = -log₂ 0,6 = 0,737 (бит)

“4”: I = -log₂ 0,3 = 1,737 (бит)

“3”: I = -log₂ 0,1 = 3,322 (бит)

ЗАДАНИЕ 8

Проанализируйте и попробуйте дополнить таблицу.

Таблица
"Различные подходы к определению и измерению информации"

	Подход к определению	Подход к измерению
в быту	разнообразные сведения, сообщения, их новизна	новизна не измеряется
в технике	сообщения, передаваемые в форме знаков и сигналов	информационная емкость = количеству символов
теория информации	снятая неопределенность	количество информации зависит от вероятности получения сообщения
теория принятия решений	увеличение вероятности достижения цели	попробуйте
кибернетика(теория управления)	часть знания, используемая в управлении	придумать
теория отражения	результат отражения, отраженное разнообразие	сами

В рамках структурного подхода выделяют три меры информации:

· геометрическая. Определяет максимально возможное количество информации в заданных объемах. Мера может быть использована для определения информационной емкости памяти компьютера;

· комбинаторная. Оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Комбинаторная мера может использоваться для оценки информационных возможностей некоторого системы кодирования;

· аддитивная, или мера Хартли.

Определяет максимально возможное количество информации в заданных объемах. Единица измерения – информационный элемент. Мера может быть использована для определения информационной емкости памяти компьютера. В этом случае в качестве информационного элемента выступает минимальная единица хранения – бит. Список самых распространенных более крупных единиц и соотношение между ними приведено ниже:

8 бит = 1 байт (сокращенно б или Б),

1024 Б = 1 килобайт (сокращенно Кб или К),

1024 К = 1 мегабайт (сокращенно Мб или М),

1024 М = 1 гигабайт (сокращенно Гб или Г).

Тогда, например, объем винчестера – 3 гигабайта; объем основной памяти компьютера – 32 мегабайта и т.д.

Пример 1. Пусть сообщение

5555 6666 888888

закодировано одним из специальных методов эффективного кодирования – кодирование повторений – и имеет вид:

5(4) 6(4) 8(6).

Требуется измерить информацию в исходном и закодированном сообщениях геометрической мерой и оценить эффективность кодирования.

В качестве информационного элемента зададимся символом сообщения. Тогда:

I ^(исх.) = l ^(исх.) = 14 символов;

I ^{(закод.)} = l ^{(закод.)} = 12 символов,

где I ^(исх.), I ^{(закод.)} – количества информации, соответственно, в исходном и закодированном сообщениях;

l ^(исх.), l ^{(закод.)} – длины (объемы) тех же сообщений, соответственно.

Эффект кодирования определяется как разница между I ^(исх.)и I ^{(закод.)} и составляет 2 символа.

Очевидно, геометрическая мера не учитывает, какими символами заполнено сообщение. Так, одинаковыми по количеству информации, измеренной геометрической мерой, являются, например, сообщения «компьютер» и «программа»; а также 346 и 10В.

Дата добавления: 2015-05-10