Тема 12. Основные понятия теории информации

Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой информации.

Черты случайности, присущие процессам передачи информации, заставляют обратиться при изучении этих процессов к вероятностным методам. При этом возникает необходимость в создании новых вероятностных категорий.

Получение, обработка, передача и хранение различного рода информации – непременное условие работы любой управляющей системы. В этом процессе всегда происходит обмен информацией между различными звеньями системы. Простейший случай – передача информации от управляющего устройства к исполнительному органу (передача команд). Более сложный случай – замкнутый контур управления, в котором информация о результатах выполнения команд передается управляющему устройству с помощью «обратной связи».

Любая информация для того, чтобы быть переданной, должна быть соответствующим образом «закодирована», т.е. переведена на язык специальных символов или сигналов. Сигналами, передающими информацию, могут быть электрические импульсы, световые или звуковые колебания, механические перемещения и т.д.

Одной из основных задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать заданную информацию с помощью минимального количества символов.

Другая типичная задача теории информации ставится следующим образом: имеется источник информации (передатчик), непрерывно вырабатывающий информацию, и канал связи, по которому эта информация передается в другую инстанцию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал «справлялся» со своей задачей?

Ряд задач теории информации относится к определению объема запоминающих устройств, предназначенных для хранения информации, к способам ввода информации в эти запоминающие устройства и вывода ее для непосредственного использования.

Чтобы решать подобные задачи, нужно, прежде всего, научиться измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам (искажениям).

Любое сообщение представляет собой совокупность сведений о некоторой физической системе. Например, на вход автоматизированной системы управления производственным цехом может быть передано сообщение о нормальном или повышенном проценте брака, о химическом составе сырья или температуре в печи.

Рассмотрим некоторую систему Х, которая может принимать конечное множество состояний: х _1, х ₂, …, х_п с вероятностями р _1, р ₂, …, р_п, где р_i =Р(Х~ х_i) – вероятность того, что система Х примет состояние х_i (символом Х~ х_i обозначается событие: система находится в состоянии х_i).

Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятых с обратным знаком:

.

Энтропия Н(Х) обладает свойствами:

1) Н(Х) обращается в нуль, когда одно из состояний системы достоверно, а другие – невозможны,

2) при заданном числе состояний Н(Х) обращается в максимум, когда эти состояния равновероятны, а при увеличении числа состояний – увеличивается,

3) Н(Х) обладает свойством аддитивности, т.е. когда несколько независимых систем объединяются в одну, их энтропии складываются.

При выборе числа 2 в качестве основания логарифмов за единицу измерения энтропии принимается энтропия простейшей системы Х, которая имеет два равновозможных значения:

хi	х1	х2
рi	1/2	1/2

Действительно Н(Х)= – (1/2∙log1/2+1/2∙log1/2)=1.

Энтропия системы с равновозможными состояниями равна логарифму числа состояний.

Пусть имеются две системы Х и У, в общем случае зависимые. Предположим, что система Х приняла состояние х_i. Обозначим Р(у_i ½ х_i) условную вероятность того, что система У примет состояние у_i при условии, что система Х находится в состоянии х_i:

Р(у_i ½ х_i)= Р(У~ у_i ½Х~ х_i).

Определим условную энтропию системы У при условии, что ситсема Х находится в состоянии х_i. Обозначим ее Н(У| х_i).

По общему определению имеем:

. (*)

Условная энтропия зависит от того, какое состояние х_i приняла система Х. Определим полную энтропию системы У с учетом того, что эта система может принимать разные состояния. Для этого нужно каждую условную энтропию (*) умножить на вероятность соответствующего состояния р_i и все такие произведения сложить. Полную условную энтропию обозначим Н(У½Х):

.

Величина Н(У½Х) характеризует степень неопределенности системы У, остающуюся после того, как состояние системы Х полностью определилось. Ее будем называть полной условной энтропией системы У относительно Х.

Рассмотрим некоторую систему Х, над которой производится наблюдение, и оценим информацию, получаемую в результате того, что состояние системы Х становиться полностью известным. До получения сведений (априори) энтропия системы была Н(Х); после получения сведений состояние системы полностью определилось, т.е. энтропия стала раной нулю. Обозначим I_Х информацию, получаемую в результате выяснения состояния системы Х. Она равна уменьшению энтропии:

I_Х=Н(Х) – 0=Н(Х).

Количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы.

Формула

I_Х =

означает, что информация I_Х есть среднее по всем состояниям системы значение логарифма вероятности состояния с обратным знаком.

Естественно каждое слагаемое – log р_i рассматривать как частную информацию, получаемую от отдельного сообщения, состоящего в том, что система Х находится в состоянии х_i. Обозначим эту информацию :

= – log р_i.

Тогда информация I_Х представится как средняя информация, получаемая от всех возможных отдельных сообщений с учетом их вероятностей. Тогда можно записать I_Х в форме математического ожидания:

I_Х=М(– logР(Х)).

Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование, а именно: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» или «нет», с помощью которых можно приобрести ту же информацию. Рассмотрим систему с двумя состояниями:

хi	х1	х2
рi	р1	р2

Чтобы выяснить состояние этой системы, достаточно задать один вопрос, например: находится ли система в состоянии х₁? Ответ «да» или «нет» на этот вопрос доставляет некоторую информацию, которая достигает своего максимального значения 1, когда оба состояния априори равновероятны: р₁ = р₂ =½. Таким образом, максимальная информация, даваемая ответом «да» или «нет», равна одной двоичной единице.

Если информация от какого-либо сообщения равна п двоичным единицам, то она равносильна информации, даваемой п ответами «да» или «нет» на вопросы, поставленные так, что «да» или «нет» одинаково вероятны.

Чтобы число вопросов было минимальным, нужно формулировать их так, чтобы вероятности ответов «да» или «нет» были как можно ближе к ½.

На практике часто может оказаться, что система Х непосредственно недоступна для наблюдения, и выясняется состояние не самой системы Х, а некоторой другой системы У, связанной с нею. Например, вместо непосредственного наблюдения за воздушными целями на посту управления средствами противовоздушной обороны ведется наблюдение за планшетом или экраном отображения воздушной обстановки, на котором цели изображены условными значками. Вместо непосредственного наблюдения за космическим кораблем ведется наблюдение за системой сигналов, передаваемых его аппаратурой. Вместо текста Х отправленной телеграммы получатель наблюдает текст У принятой, который не всегда совпадает с Х.

Различия между непосредственно интересующей нас системой Х и поддающейся непосредственному наблюдению У могут быть двух типов:

1. Различия за счет того, что некоторые состояния системы Х не находят отражения в системе У, которая «беднее подробностями», чем система Х.

2. Различия за счет ошибок: неточностей измерения параметров системы Х и ошибок при передаче сообщений.

Примером различий первого типа могут служить различия, возникающие при округлении численных данных и вообще при грубом описании свойств системы Х отображающей ее системой У. Примерами различий второго типа могут быть искажения сигналов, возникающие за счет помех (шумов) в каналах связи, за счет неисправностей передающей аппаратуры, за счет рассеянности людей, участвующих в передаче информации и т.д.

Когда интересующая нас система Х и наблюдаемая У различны, возникает вопрос: какое количество информации о системе Х дает наблюдение системы У?

Естественно определить эту информацию как уменьшение энтропии системы Х в результате получения сведений о состоянии системы У:

I_У®Х=Н(Х) – Н(Х|У).

Величина I_У®Х есть полная информация о системе Х, содержащейся в системе У.

Легко показать, что I_У®Х= I_Х®У.

Будем называть информацию I_У®Х, где I_У®Х= I_У®Х= I_Х®У полной взаимной информацией, содержащейся в системах Х и У.

Пусть из двух систем Х и У подчиненной является Х. Тогда Н(Х|У)=0, и

I_У®Х=Н(Х).

Полная взаимная информация, содержащаяся в двух системах, равна сумме энтропий составляющих систем минус энтропия объединенной системы:

I_У®Х=Н(Х)+Н(У) – Н(Х, У).

Для непосредственного вычисления полной взаимной информации удобно пользоваться формулой:

Дата добавления: 2014-11-26