Основные положения теории информации

Основные положения теории информации были разработаны К. Шенноном: Основная идея … состоит в том, что с информацией можно обращаться почти также, как с такими физическими величинами, как масса или энергия".

Любая информация, чтобы быть переданной, должна быть соответственным образом "закодирована", т.е. переведена на язык специальных символов или сигналов.

Одной из задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать информацию с помощью минимального количества символов. Эта задача решается с учетом наличия или отсутствия искажений (помех) в канале связи.

Другая типичная задача: имеется источник информации (передатчик), непрерывно вырабатывающий информацию, и канал связи, по которому эта информация передается в другую инстанцию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал передавал всю поступающую информацию без задержек и искажений?

Чтобы решить подобные задачи, нужно научиться измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам.

Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Средства измерений предназначаются для получения измерительной информации и обладают, таким образом, информационными характеристиками. При их нахождении исходят из того, что измеряемая величина обладает неопределенностью до тех пор, пока не произведено ее измерение. Степень неопределенности зависит от ряда факторов.

Рассмотрим некоторую систему X, которая может принимать конечное множество состояний: x₁ х₂,..., х_п с вероятностями p₁, р₂,…, р_п, где

p_i=Р(Х Þ х_i) (1.23)

- вероятность того, что система X примет состояние x_i (символом Х Þ x_i обозначается событие: система находится в состоянии x_i). Очевидно, , как сумма вероятностей полной группы независимых событий.

В качестве меры априорной неопределенности системы X (измеряемой дискретной случайной величины X) в теории информации применяется специальная характеристика, называемая энтропией.

Энтропией системы (измеряемой величины) называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:

Н(Х)= , (1.24)

где log - знак двоичного логарифма.

Знак минус перед суммой ставится для того, чтобы энтропия была положительной: вероятности p_i меньше единицы и их логарифмы отрицательны.

Непрерывная измеряемая величина X априори имеет неопределенность, характеризуемую значением энтропии

(1.25)

где f(х) — плотность распределения величины X.

Энтропия обращается в нуль, когда одно из состояний системы достоверно (вероятность равна единице), а другие - невозможны (вероятности равны нулю).

Если рассмотреть случайную дискретную величину X, которая имеет п равновероятных значений, то вероятность каждого из них будет равна р_i=1/п и

Таким образом, энтропия системы с равновозможными состояниями равна логарифму числа состояний. При увеличении числа состояний энтропия увеличивается.

Энтропия обладает свойством аддитивности: когда несколько независимых систем объединяются в одну, их энтропии складываются: H (X, Y)=Н (Х)+Н (Y).

Единицы измерения энтропии зависят от выбора основания логарифма. При использовании десятичных логарифмов энтропия определяется в так называемых десятичных единицах (дит). В случае двоичных логарифмов энтропия выражается в двоичных единицах (бит). На практике удобнее всего пользоваться логарифмами при основании 2, поскольку при этом достигается согласие с применяемой в электронных цифровых вычислительных машинах двоичной системой счисления.

Дата добавления: 2014-01-04