Сложность объективной оценки количества информации

Существует несколько подходов к измерению количества информации.

А. Энтропийный подход.

В теории информации количество информации оценивается, мерой уменьшения у получателя неопределенности (энтропии) выбора или ожидания событий после получения информации. Количество информации тем больше, чем ниже вероятность события. Энтропийный подход широко используется при определении количества информации, передаваемой по каналам связи. Выбор при приеме информации осуществляется между символами алфавита в принятом сообщении. Пусть сообщение, принятое по каналу связи, состоит из N символов (без учета связи между символами в сообщении). Тогда количество информации в сообщении может быть подсчитано по формуле Шеннона [59]:

где P_i - вероятность появления в сообщении символа i; k - количество символов в алфавите языка.

Анализ формулы Шеннона показывает, что количество информации в двоичном представлении (в битах или байтах) зависит от двух величин: количества символов в сообщении и частоты появления того или иного символа в сообщениях для используемого алфавита. Этот подход абсолютно не отражает насколько полезна полученная информация, а позволяет определить лишь затраты на передачу сообщения.

Б. Тезаурусный подход.

Этот подход предложен Ю.А. Шредером Он основан на рассмотрении информации как знаний. Согласно этому подходу количество информации, извлекаемое человеком из сообщения, можно оценить степенью изменения его знаний. Структурированные знания, представленные в виде понятий и отношений между ними, называются тезаурусом. Структура тезауруса иерархическая. Понятия и отношения, группируясь, образуют другие, более сложные понятия и отношения.

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии -ого порядка, см. ниже) встречаются очень редко, то неопределённость уменьшается еще сильнее.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Информационная двоичная энтропия для независимых случайных событий с возможными состояниями (от до , — функция вероятности) рассчитывается по формуле:

Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только -e состояние.

Таким образом, энтропия события является суммой с противоположным знаком всех произведений относительных частот появления события , умноженных на их же двоичные логарифмы^[1]. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Дата добавления: 2015-04-24