Объемный подход. Измерение количества информации

Измерение количества информации

Использование терминов «больше информации» или «меньше информации» подразумевает некую возможность ее измерения (или хотя бы количественного соотнесения).

В решении этой проблемы существуют два основных подхода: вероятностный и объемный. Американский инженер Р. Хартли в 1928 г. рассматривал процесс получения информации как выбор одного сообщения из конечного заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N:

I=log₂N.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется:

I= Log₂100 ~ 6,644.

Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Клод Шеннон развил вероятностный подход к измерению количества информации. В 1948 году он предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Хартли является частным случаем формулы Шеннона. Работы Джон фон Неймана по созданию ЭВМ привели к объемному подходу измерения количества информации.

Объем информации в сообщении – это количество символов в сообщении. Поскольку, например, одно и то же число может быть записано многими разными способами (использованием разных алфавитов):

«двадцать пять»

XXV

то этот способ чувствителен форме представления (записи) сообщения. В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлена в двоичной форме с использованием алфавита, состоящего из двух символов 0 и 1, называемых битами (от английского Binary digit — двоичная цифра). Такая стандартизация позволила ввести две стандартные единицы: бит и байт. Байт – это восемь бит.

Для измерения количества информации используются также более крупные единицы:

1 Килобайт = 1024 байта (2¹⁰ байта)

1 Мегабайт =1024 Кбайта (2²⁰ байта)

1 Гигабайт = 1024 Мбайта (2³⁰ байта)

1 Терабайт = 1024 Гбайта (2⁴⁰ байта)

1 Петабайт = 1024 Тбайта (2⁵⁰ байта)

1 Экзабайт = 1024 Пбайта (2⁶⁰ байта)

Контрольные вопросы

1. Как Вы понимаете понятие информации и какое определение можно дать?

2. Какие существуют подходы к определению количества информации и кто их открыл?

3. Чем отличается байт от бита?

4. Более крупные единицы измерения информации и как они определяются?

5. Сколько различных информации можно написать одним байтом и обоснуйте почему?

6. В чем состоит процедура дискретизации непрерывной информации?

7. Какая форма представления информации - непрерывная или дискретная приемлема для компьютеров и почему?

Дата добавления: 2014-01-06