Мера информации синтаксического уровня

Лекция № 3. Меры и единицы измерения информации

Мера информации синтаксического уровня, меры информации прагматического уровня, меры информации семантического уровня.

Сообщения как совокупность знаков с точки зрения семиотики изучается на трех уровнях:

синтаксический уровень, где рассматриваются отношения между знаками;

семантический уровень, где анализируется отношения между знаками и знаковыми системами;

прагматический уровень, где рассматриваются отношения между знаками и получателем сообщений.

Количественная мера оценки информации этого уровня не связана со смыслом информации, ее содержанием. Для измерения информации на синтаксическом уровне используют характеристики объема и количества информации.

Рассмотрим понятие объема информации. Пусть задан алфавит, включающий множество символов, каждый из которых занимает в памяти объем которой равен u и пусть информация содержится сообщении, состоящего из N символов. Тогда объем информации сообщения можно определить, используя следующее выражение:

V=N×u (единица объема).

Под количеством информации понимают меру снятия неопределенности ситуации при получении сообщения.

Хартли в 1928 году предложил степень неопределенности ситуации с m исходами характеризовать числом: H(x) = log m. Если в результате получения сообщения y количество исходов ситуации уменьшается до n, то количество информации в полученном сообщении определяется выражением:

I(y) = H(x) ¾ H(y), (1)

где H(x) = log m ¾ неопределенность ситуации x до получения сообщения y, H(y) = log n ¾ неопределенность ситуации x, оставшаяся после получения сообщения y.

Для определения количества информации, содержащегося в сообщении, необходимо выполнить следующие действия:

1. Найти n -количество исходов ситуации до получения сообщения;

2. Найти m - количество исходов ситуации после получения сообщения;

3. Воспользоваться выражением (1) и найти количество информации, содержащиеся в сообщении.

За единицу количества информации принимается один бит, который соответствует сообщению о ситуации, имеющей два исхода до получения сообщения, а при получении сообщения - единственный исход:

I(y) =log 2 ¾ log 1 =1 бит.

Применяемые единицы измерения количества информации приведены в таблице 1.3.

Таблица 3.1.

№	Название единицы	Обозначение единицы	Соотношения между единицами измерения количества информации
	байт	байт	1 байт = 8 бит
	Килобайт	Кбайт	1 Кбайт = 1024 байт = 2^10 байт
	Мегабайт	Мбайт	1 Мбайт = 1024 Кбайт = 2^20 байт
	Гигабайт	Гбайт	1 Гбайт = 1024 Мбайт = 2^30 байт
	Терабайт	Тбайт	1 Тбайт = 1024 Гбайт = 2^40байт

Рассмотрим пример определения количества информации содержащимся в сообщении.

В княжестве имеются автомобили только черного, серого и белого цвета. Количество информации сообщения «В аварию попал автомобиль не черного цвета» равен 8 - log₂5 бит. Количество информации сообщения «В аварию попал серый автомобиль» равно 8 бит. Какое количество информации в сообщении о том, что в аварию попал автомобиль белого цвета.

Обозначим через x, y и z количество автомобилей черного, серого и белого цвета. Тогда в княжестве имеется x + y + z автомобилей.

Степень неопределенности при попадании одного автомобиля в аварию равна:

H₁ = log₂(x + y + z)

Степень неопределенности при попадании в аварию автомобиля не черного цвета (серого и белого автомобиля) равна:

H₂ = log₂(y + z).

Количество информации, содержащиеся в сообщении «В аварию попал автомобиль не черного цвета», равно:

I = H₁ - H₂ = log₂(x + y + z) - log₂(y + z) = 8 - log₂5 (1).

Степень неопределенности при попадании в аварию серого автомобиля равна:

H₃ = log₂y.

Количество информации, содержащиеся в сообщении «В аварию попал серый автомобиль», равно:

I = H₁ - H₃ = log₂(x + y + z) - log₂y = 8 (2).

Предположим, что x + y + z = 8, а y+ z = 5 (3). Тогда из (2) находим y:

log₂(x + y + z) - log₂y = 8 - log₂y = 8;

log₂y = 0;

y = 1.

Тогда из (3) можно найти z:

y+ z = 5;

1 + z = 5;

z= 4.

Степень неопределенности при попадании в аварию белого автомобиля равна:

H₄ = log₂z = log₂4 = 2.

Количество информации, содержащиеся в сообщении «В аварию попал белый автомобиль», равно:

I = H₁ - H₄ = log₂(x + y + z) - log₂z = 8 - 2 =6.

Дата добавления: 2014-01-06