Вероятностный подход

Алфавитный подход к измерению информации

Содержательный подход

Различные подходы к определению количества информации

Меры и единицы количества и объема информации

Содержащиеся в поступающей информации сведения должны быть новыми и понятными. Если поступившая информация уже была известна или она не понятна получателю, то количество полученной информации считается равным нулю.

Здесь смысл информации не учитывается, а учитывается только длина её записи. Так, количество текстовой информации оценивается путём пересчёта всех имеющихся в нём символов. Например, текстовое сообщение длиной 100 символов.

Алфавитный подход оперирует с данными и, фактически, измеряет количество данных, а не информации. Общепринятыми единицами измерения данных являются биты и байты.

Бит – это один символ двоичного кода, который может принимать значения 0 или 1. Байт – это восемь бит, рассматриваемые как единое целое.

Алфавитный подход – объективный подход к измерению количества информации, поэтому он используется в вычислительной технике как основной. Алфавитный подход даёт ответ на вопрос, какой объём памяти потребуется, чтобы записать ту или иную информацию. Зная скорость передачи данных по некоторому каналу связи, можно будет также ответить на вопрос: сколько времени потребуется на передачу имеющейся информации по этому каналу.

Данный подход провозглашается в теории информации Клода Элвуда Шеннона. Информация здесь призвана снимать полностью или уменьшать имевшуюся до её появления неопределённость знаний (энтропию).

Пример. Наш собеседник загадал целое число в пределах от 1 до 16

(например, 12). Требуется узнать, какое это число. Нам разрешено задавать вопросы, требующие ответа либо «да», либо «нет». Сколько в общем случае таких вопросов мы должны задать?

Решение. Будем задавать вопросы так, чтобы каждый раз уменьшать

множество возможных выборов в два раза:

Видим, что, чтобы узнать произвольное число от 1 до 16, в общем случае требуется задать 4 вопроса с ответами «да» или «нет».

При вероятностном подходе единицей измерения количества информации является бит. Значение бита (0 или 1) можно рассматривать как ответ «да» или «нет». Сущность информации величиной в один бит может быть сформулирована следующим образом:

1 БИТ – такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза.

Дата добавления: 2014-01-07