Объемный подход

Вероятностный подход

Измерение информации

При кодировании любого типа информации важно определить, какое количество информации мы получаем при изучении какого-либо объекта? Изучение объекта связано с получением структуры виртуального объекта. Информация представляет собой определенную последовательность элементов, т.е. каждый новый символ, графическая точка или звук увеличивают количество информации. Для измерения количества информации, как и для измерения длины, массы и других мер измерения нужен эталон. В качестве такого эталона была выбрана единица измерения информации, получившая название «бит» (Bt).

Под битом мы будем понимать единицу измерения информации, представляющую собой выбор из двух равновозможных вариантов. Бит (от английского выражения "BInary digiT" - "двоичная цифра") является минимальной единицей информации. Бит представляет собой обозначение одного двоичного разряда, способного, в зависимости от сделанного выбора, принимать значение 0 или 1.

Как правило, принято работать не с отдельными битами, а сразу с группой бит. Для этого было введена дополнительная единица измерения информации, получившая название байт. В дальнейшем, под байтом мы будем понимать единицу измерения информации длиною в восемь бит. В одном байте можно закодировать значение одного символа из 256 возможных символов (256=28). Более крупными производными единицами информации являются килобайт (сокращенно обозначаемый КВ), равный 1024 байтам, мегабайт (сокращенно обозначаемый МВ), равный 1024 Кбайтам и т.д.

При определении понятия «количества информации» существуют различные подходы: вероятностный, объемный, содержательный, алфавитный.

Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К. Шеннон в 1948 году. Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log₂(1/p). Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом – чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по числу требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в вероятностном (кибернетическом) смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то это количество не обязательно совпадает, при этом кибернетическое количество информации не может быть больше объемного.

Дата добавления: 2014-01-06