Какова же связь энтропии с информацией?

Объем информации V (объемный подход).

При реализации ин­формационных процессов информация передается в виде сообще­ния, представляющего собой совокупность символов какого–либо алфавита. При этом каждый новый символ в сообщении увеличи­вает количество информации, представленной последовательнос­тью символов данного алфавита. Если теперь количество инфор­мации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) V в любом другом сооб­щении будет равен количеству символов (разрядов) в этом сооб­щении. Так как одна и та же информация может быть представле­на многими разными способами (с использованием разных алфавитов), то и единица измерения информации (данных) соответ­ственно будет меняться.

В компьютерной технике наименьшей единицей измерения информации является 1 бит. Таким образом, объем информации, записанной двоичными знаками (0 и 1) в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. Напри­мер, восьмиразрядный двоичный код 11001011 имеет объем дан­ных V= 8 бит.

В современной вычислительной технике наряду с минимальной единицей измерения данных «бит» широко используется укруп­ненная единица измерения «байт», равная 8 бит. При работе с боль­шими объемами информации для подсчета ее количества приме­няют более крупные единицы измерения, такие как килобайт (Кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт):

1 Кбайт = 1024 байт = 2¹⁰ байт;

1 Мбайт = 1024 Кбайт = 2²⁰ байт = 1 048 576 байт;

1 Гбайт = 1024 Мбайт = 2³⁰ байт = 1 073 741 824 байт;

1 Тбайт = 1024 Гбайт = 2⁴⁰ байт = 1 099 511 627 776 байт.

Следует обратить внимание, что в системе измерения двоичной (компьютерной) информации, в отличие от метрической системы, единицы с приставками «кило», «мега» и т. д. получаются путем умножения основной единицы не на 10³= 1000, 10⁶= 1000 000 и т. д., а на 2¹⁰ , 2²⁰ и т. д.

§7. Количество информации / (энтропийный/вероятностный подход)

Часто приходится иметь дело с явлениями, исход которых неоднозначен и зависит от факторов, которые мы не знаем или не можем учесть. Например, определение пола будущего ребенка, результат бросания игральной кости и пр.

События, о которых нельзя сказать произойдут они или нет, пока не будет осуществлен эксперимент, называются случайными.

Раздел математики, в котором строится понятийный и математический аппарат для описания случайных событий, называется теорией вероятности.

Осуществление некоторого комплекса условий называется опытом, а интересующий нас исход этого опыта – благоприятным событием. Тогда, если N – общее число опытов, а N_A– количество благоприятных исходов случайного события А, то отношение N/N_A, называется относительной частотой появления события А. Однако, очевидно, в разных сериях, значение частоты может оказаться различным. Действительно, например, в серии из трех опытов по бросанию монеты может 2 раза выпасть орел и 1 раз решетка. Если благоприятным событием считать выпадение орла, то частота получается равно 2/3. Очевидно, что в другой серии она может быть равно 0 или 1 или 1/3. Однако, оказывается, что при увеличении количества опытов значение относительной частоты все меньше и меньше отклоняется от некоторой константы. Скачки могут быть, но все реже и реже. Наличие этой константы называется статистической устойчивостью частот, а сама константа вероятностью случайного события А. В случае, если все исходы опыта конечны и равновозможные, то их вероятность равна P=1/n, где n –число возможных исходов.

Пример:

1. вероятность выпадения орла при бросании монеты – ½.

2. вероятность вытянуть из урны красный шар (при условии, что там три шара – красный, синий, белый) – 1/3.

Таким образом, когда мы имеем дело со случайными событиями, имеется некоторая неопределенность. Введем в рассмотрение численную величину, измеряющую неопределенность опыта.

Энтропия – мера неопределенности опыта, в котором проявляются случайные события. Обозначим ее H.

Очевидно, что величины H и n (число возможных исходов опыта) связаны функциональной зависимостью: H=f (n), то есть мера неопределенности есть функция числа исходов.

Некоторые свойства этой функции:

1. f (1) =0, так как при n=1 исход не является случайным и неопределенность отсутствует.

2. f (n) возрастает с ростом n, так как чем больше возможных исходов, тем труднее предсказать результат, и, следовательно, больше неопределенность.

3. если и два независимых опыта с количеством равновероятных исходов и , то мера их суммарной неопределенности равна сумме мер неопределенности каждого из опытов:

Всем трем этим свойствам удовлетворяет единственная функция – log(n). То есть за меру неопределенности опыта с n равновероятными исходами можно принять число log(n). Вопрос – по какому основанию? В силу известной формулы выбор основания значения не имеет, следовательно, можно взять в качестве основания логарифма 2. Таким образом: H= – это формула Хартли.

Преобразовывая, получим: 2^H=n

Замечание: в случае, если исходы опыта не равновероятны, справедлива формула Шеннона: , где p_i–вероятность i–того исхода.

Из определения энтропии следует, что энтропия это числовая характеристика, отражающая ту степень неопределенности, которая исчезает после проведения опыта, то есть после получения информации. То есть, после проведения опыта получаем определенную информацию. Следовательно:

Энтропия опыта равна той информации, которую мы получаем в результате его осуществления. То есть:

Информация I – это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом; убыль связанной с ним энтропии является количественной мерой информации.

Значит, если H1 – начальная энтропия (до проведения опыта), H2 – энтропия после проведения опыта, то информация

I=H1–H2=log₂n₁–log₂n₂=log₂ (n₁/n₂).

Очевидно, что в случае, когда получен конкретный результат, H2=0, и, таким образом, количество полученной информации совпадает с начальной энтропией и подсчитывается при помощи формулы Хартли.

Итак, мы ввели меру неопределенности – энтропию и показали, что начальная энтропия (или убыль энтропии) равна количеству полученной в результате опыта информации. Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, значение H будет равно 1 при n=2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, бросание монеты). Такая единица количества информации называется «бит».

Замечание: вероятностный подход учитывает ценность информации для конкретного получателя (действительно, ведь речь идет о благоприятных событиях).

Пример: определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака «пробел». По формуле Хартли: H=log₂34=5 бит (здесь считаем, что появление каждой буквы равновероятно). По формуле Шеннона (для неравновероятных исходов) это значение равно 4,72 бит. Здесь значение, полученное по формуле Хартли – максимальное количество информации, которое моет приходиться на один знак.

Дата добавления: 2014-01-07