Где N - количество возможных событий,

P_i – вероятности отдельных событий.

В этом случае количество недостающей информации определяется по формуле:

I = -

Для частного, но широко распространенного случая, когда события равновероятны

(P_i = ), величину количества информации I можно рассчитать по формуле:

I = - = log ₂ N

Информация необходимая для выбора равноправных вариантов, равна логарифму числа вариантов.

I = log ₂ N

Для определения количества информации необходимо также ввести единицу измерения.

Если принять число возможных вариантов минимальным – равным 2 (вернемся к опыту с бросанием монеты - здесь из двух возможных событий N=2 реализуется одно), то получаем количество информации необходимое для выбора.

I = log ₂ 2 = 1

За единицу количества информации принято элементарное количество информации о событии, которое заключается в выполнении одного из двух равновероятных исходов.

Такая единица названа бит. (bit — binary digit — двоичная цифра).

Компьютер оперирует числами не в десятичной, а в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2 ⁿ.

Следующей по величине единицей измерения количества информации является байт, причем

1 байт = 2³ бит = 8 бит.

Для обозначения больших количеств информации применяются производные от байта единицы:

1 Кбайт = 2 ¹⁰ байт = 1024 байт

1 Мбайт = 2 ¹⁰ Кбайт = 1024 Кбайт

1 Гбайт = 2 ¹⁰ Мбайт = 1024 Мбайт

В общей теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении.

Каждый согласится, что слово 0101...01 сложнее слова 00...0, а слово, где 0 и 1 выбираются из эксперимента - бросания монеты (где 0 – «орел», 1 – «решка»), сложнее обоих предыдущих.

Компьютерная программа, производящая слово из одних нулей, крайне проста: печатать один и тот же символ. Для получения 0101...01 нужна чуть более сложная программа. Случайная, не обладающая никакими закономерностями последовательность не может быть произведена никакой "короткой " программой. Длина программы, производящей хаотичную последовательность, должна быть близка к длине последней.

Таким образом любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга, а предполагаемая количественная характеристика - сложность слова (сообщения) определяется как минимальное число внутренних состояний машины, требующихся для его воспроизведения

Дата добавления: 2014-10-31