Содержательный подход к измерению информации

Измерение количества информации.

Двоичное кодирование информации в компьютере

В компьютере для представления информации используется двоичное кодирование, так как удалось создать надежно работающие технические устройства, которые могут со стопроцентной надежностью сохранять и распознавать не более двух различных состояний (цифр):

• электромагнитные реле (замкнуто/разомкнуто), широко использовались в конструкциях первых ЭВМ;

• участок поверхности магнитного носителя информации (намагничен/размагничен);

• участок поверхности лазерного диска (отражает/не отражает);

• триггер (см. п. 3.7.3), может устойчиво находиться в одном из двух состояний, широко используется в оперативной памяти компьютера.

Все виды информации в компьютере кодируются на машинном языке, в виде логических последовательностей нулей и единиц.

Информация в компьютере представлена в двоичном коде, алфавит которого состоит из двух цифр (0 и 1)

1 бит – это количество информации в сообщении, состоящем из 1 символа двоичного алфавита 0 или 1. Это наименьшая единица информации.

Как же измерить количество информации?

Можно измерить количеством слов, букв. Но единица измерения информации должна быть универсальной, т.е. быть понятными не только человеку, но и машине.

Поскольку ПК понимает только цифровую информацию и его язык состоит только из двух цифр 0 и 1, то за самую маленькую единицу договорились брать количество информации в сообщении, состоящем из 1 символа двоичного алфавита (0;1). Эту единицу информации называют битом.

На практике существует два подхода к измерению информации: содержательный или вероятностный (Шеннон) и алфавитный (кибернетический).

Содержательный подход. Здесь возможна качественная оценка информации: новая, срочная, важная и т.д.

Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией – той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации.

По Шеннону, информация – уменьшение неопределенности наших знаний.

Неопределенность некоторого события – это количество возможных исходов данного события.

Например, перед броском монеты существует неопределенность наших знаний (два исхода, возможны два события) так как невозможно предсказать, как упадет монета. Но после броска неопределенность уменьшается в два раза. Неопределенность равна 2.

Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде.

Содержательный подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному.

Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.

Если сообщение уменьшило неопределенность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.

1 бит – объем информации такого сообщения, которое уменьшает неопределенность знания в два раза.

Рассмотрим, как можно подсчитать количество информации в сообщении, используя содержательный подход.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных (равновозможных) событий. Тогда количество информации i, заключенное в этом сообщении, и число событий N связаны формулой:

N = 2ⁱ

Эта формула носит название формулы Хартли. Получена она в 1928 г. американским инженером Р. Хартли.

Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то вычисления легко произвести "в уме". В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов либо определять значение логарифма приблизительно (ближайшее целое число, большее).

Например, если из 256 одинаковых, но разноцветных шаров наугад выбрали один, то сообщение о том, что выбрали красный шар несет 8 бит информации (2⁸=256).

При игре «Крестики-нолики» на поле 8 на 8 перед первым ходом существует 64 возможных события и формула Хартли примет вид 64 = 2ⁱ, так 64 = 2⁶, то получим 2⁶=2ⁱ, т.о i = 6 битов.

В корзине лежат 16 шаров разного цвета. Сколько информации несет сообщение, что достали шар белого цвета: 16=2ⁱ, 2⁴=2ⁱ, i=4 бита.

Для угадывания числа (наверняка) в диапазоне от 0 до 100, если разрешается задавать только двоичные вопросы (с ответом "да" или "нет"), нужно задать 7 вопросов, так как объем информации о загаданном числе больше 6 и меньше 7 (2⁶<100>2⁷)

Дата добавления: 2014-11-18