На синтаксическом уровне

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ

Существуют меры информации синтаксического, семантического и прагматического уровней. В нашем курсе нас будет интересовать прежде всего мера информации синтаксического уровня.

На этом уровне содержательная сторона информации не имеет значения. Для измерения информации вводятся два параметра: объем информации (данных) V (объемный подход) и количество информации S (энтропийный подход).

При объемном подходе учитывается, что информация (по сути - данные) передается в виде некоторого сообщения, состоящего из совокупности символов какого-либо алфавита. Если количество информации, содержащейся в сообщении из одного символа, принять за единицу, то полное количество информации в сообщении равно количеству символов в нем. В двоичной системе счисления единицей измерения информации является бит (bit – binary digit – двоичный разряд). Тогда сообщение, состоящее из n-разрядного двоичного числа, имеет объем V=n бит.

Энтропийный подход к измерению информации основан на том, что факт получения наблюдателем информации о каком-то источнике этой информации связан, вообще говоря, с уменьшением неопределенности (энтропии) состояния источника с позиции наблюдателя. Пусть источник информации может находиться в N различных равновероятных состояниях. В качестве единицы измерения информации принято такое ее количество, которое уменьшает неопределенность знания о состоянии источника в 2 раза. Такая единица носит уже введенное выше название бит. Тогда

или .

Примеры. 1. Бросание четырехгранной пирамиды. N=4, I=2 бита. Бросок кости сообщает наблюдателю количество информации, равное 2 битам.

2. Шахматный пешечный дебют. N=16, I=4 бита – столько информации несет первый ход.

Байт – 1 байт равен = 8 битам. Слово – 2 взаимосвязанных байта, удвоенное слово- 4 байта, учетверенное слово – 8 байт (64 бита).

Кратные байту единицы - Кбайт, Мбайт, Гбайт, Тбайт.

Дата добавления: 2014-01-06