Системы и сети связи

(Телекоммуникационные системы и сети).

Разобрали, откуда берётся информация. Представляем, что информация генерируется в процессе изменяющегося состояния некой физической системы. Генерируют по существу информацию не физическая система, но ими изменяемыми состояниями.

Состояние физической системы характеризуется безконечным множеством характеристик и параметров.

Только часть этих параметров, в силу возможностей наших нынешних и перспективных технологий, мы в состоянии использовать для преобразования физической системы, для целенаправленных действий. Эта часть параметров является конкретными источниками информации. Т.е. конкретными источниками информации являются характеристики и параметры изменяющегося состояния физической системы, которые мы в состоянии использовать в своих технологиях.

В силу причин освещённых на прошлой лекции, моделью любой из этих характеристик является непрерывный случайный процесс. Который с точки зрения построение будущей телекоммуникационной системы, которую мы будет строить, характеризуется "двумя безконечностями":

1. Безконечным количеством значений на любом ограниченном интервале времени.

2. В любом временном сечении этот параметр y_i(t), как случайная непрерывная функция времени, может принять одно из безконечного множества количества значений.

Каждое значение параметра y_i(t) соответствует одному состоянию физической системы. Возникновение этого состояния – это событие для нас случайное, потому что мы не знаем, когда возникнет это состояния и под воздействием каких факторов. Следовательно, каждое значение этого параметра, информирующее нас о возникновении этого события (состояния) содержит в себе определённый объём (количество) информации, как сведения о событиях, априорная вероятность которых меньше единицы.

Есть сведения о событиях, которые мы можем использовать для целенаправленных действий в соответствии со статистическим и логическим свойствами информации.

Каждое значение параметра мы можем рассматривать как некий символ алфавита, один из символов алфавита, который интерпретирует, представляет для нас определённый объём информации. Количество символов такого алфавита безконечно.

Важное заключение: коль скоро каждое значение параметра содержит определённый объём/количество информации интерпретируемой для нас, и поскольку на любом интервале времени количество таких значений безконечно велико, то на любом интервале времени формально источник генерирует безконечный объём информации. Если рассматривать только статистическое свойство информации, то объём этот безконечен. Но на самом деле это не так. Потому что мы не воспринимаем этот объём. Органы восприятия естественные и искусственные приборы имеют ограниченную разрешающую способность. Это минимальное различие двух значений, которое органы восприятия могут различить.

Т.е. реально на любом интервале времени, вследствие ограниченности нашей разрешающей способности, мы способны воспринять определённое количество значений. Чем чувствительнее – тем больше. Следовательно, реально источник на интервале времени генерирует ограниченный объём информации.

Ограниченность информации зависит

1. от чувствительности органов восприятия или от той точности, с которой необходимо этот параметр предоставлять потребителю, чтобы он мог воспользоваться этими значениями.
2. от скорости изменения процесса, потому что при той же точности, если скорость изменения процесса больше, то и количество значений на этом интервале будет больше и следовательно объём информации на этом интервале будет также генерироваться больше.

На прошлой лекции установили количественную меру информации.

Количественной мерой является логарифм при каком-то основании от обратной вероятности возникновения события. В зависимости от основания логарифма будут меняться единицы: наиболее распространённая [бит], натуральный логарифм – [нит]. Пользуются чаще всего двоичными логарифмами. Это связано с устройствами преобразования информации, поскольку в большинстве своём они используют два устойчивых состояния, хотя на самом деле лучше было бы построить устройство, которое бы имело три устойчивых состояния – это минимизировало бы объём информационных преобразований, объём памяти и т.д. Но надёжных таких устройств пока не придумали.

Для интерпретации/представления информации необходимо пользоваться какими-то символами, каким-то алфавитом. Этот алфавит имеет также свои информационные свойства. Необходимо очень чётко различать информационные свойства источника – это одно, информационные свойства алфавита – это другое, они взаимосвязаны. Как взаимосвязаны – мы разберём далее.

Информационные свойства алфавита.

0^ч 15^м 00^с

В силу того, что органы восприятия имеют ограниченную разрешающую способность, реально мы пользуемся не безконечным алфавитом, а каким-то ограниченным алфавитом (английский, китайский, двоичный, стоичный и т.д.)

Алфавит имеет ограниченное количество символов

А₁

А₂

…

А_m

При использовании алфавита для интерпретации информации алфавит приобретает определённые информационные свойства. Понятия очень близкие, но не одинаковые – разные.

Какие свойства?

Что такое интерпретация с помощью алфавита определённого объёма информации?

Это, грубо говоря, составление какого-то текста. Не важно с помощью какого алфавита составлен текст, важно, что там есть содержание – там имеется информация.

В тексте каждая буква появляется с определённой вероятностью: P₁, P₂…P_m.

А₁ → P₁

А₂ → P₂

… …

А_m → P_m

Появление буквы в тексте – это также некоторое событие. Появляется с некоторой вероятностью.

В тексте буквы могут быть статистически зависимы друг от друга.

Разберём, что это значит.

При разборе статистического свойства информации мы разбирали, что каждое последующее значение параметра y₂(t) содержит часть сведений обо всех других, в силу свойства инерционности. Таким образом, то, что каждое значение содержит часть сведений обо всех остальных – есть статистическая зависимость. Детерминированная для нас не интересна. Детерминированная зависимость – практически любое значение через функцию содержит детерминированные сведения с вероятностью единица обо всех остальных.

Статистическая же зависимость – часть(!) сведений.

Детерминированная – это когда значение аргумента детерминировано – с вероятностью единица определяет значение функции. Этих значений может быть несколько, даже может быть безконечным, но детерминировано определяют.

Статистическая зависимость – если между какими-то двумя значениями существует статистическая зависимость, то знание одного значения позволяет уточнить сведения либо о будущих, либо о предшествующих значениях или, как говорят, уменьшить степень неопределённости или, грубо говоря, уменьшается дисперсия одномерного распределения – разброс уменьшается. За счёт того, что, зная значение, используем сведения, которые в нём содержатся о других значениях и тем самым уменьшили степень неопределённости.

Вероятность появления в русском тексте гласной буквы после согласной гораздо больше, чем появление второй согласной. Это связно с закономерностью языка, языковыми особенностями.

Алфавит интересен тем, что буквы появляются с разными вероятностями и буквы друг с другом могут быть статистически зависимы. Каждая буква интерпретирует/представляет определённый объём информации.

Как определить этот объём?

На прошлой лекции определяли количество информации о событии

	А1 → P1 → А2 → P2 … … Аi → Pi → … … Аm → Pm

Рассматриваемый объём информации отличается от рассматриваемого ранее. Там был объём информации, который содержался в сведениях о том, что возникло какое-то событие, в данном же случае объём информации, который интерпретируется соответствующей буквой. Букву можно представить вагонеткой, которую нагружают информацией-углём. Для того чтобы таскать меньше вагонеток надо, чтобы в каждую погружалось больше угля.

Какими свойствами должен обладать алфавит, чтобы каждый символ этого алфавита в среднем переносил наибольший объём информации?

Определим среднее количество информации, которое интерпретируется (представляется, переносится) каждым символом алфавита.

Представим, что необходимо перевести в цифровой формат «Войну и мир» Л.Н. Толстого. Необходимо подсчитать объём памяти, который понадобится. Для этого надо посчитать количество букв «а», «б», «в» … Вероятность возникновения каждой буквы в русском языке известны. Посчитать количество информации, которую каждая буква содержит. Умножить количество букв на количество информации. Поскольку это огромный текст, вспомним из ТВИМС свойство статистической устойчивости – если количество экспериментов огромно, то достаточно воспользоваться средним показателем. Умножить среднее количество информации переносимое буквой на общее количество букв и получим необходимый объём памяти.

Посчитаем среднее количество информации, которое интерпретируется (переносится, транспортируется) любой буквой алфавита.

Если буквы статистически независимы, сделать это просто.

Среднее количество информации в этом случае именуется энтропией алфавита

[бит]

Эта энтропия будет зависеть от набора P_i - тых: при разных наборах P_i-тых мы получим разное количество информации в среднем. Энтропия будет разной, следовательно, правомочна постановка вопроса:

Определим такое распределение вероятностей, при котором получится в среднем количество информации, интерпретируемое символом наибольшее – т.е. экстремум.

Речь идёт о поиске такого распределения вероятностей, при котором энтропия наибольшая. При этом нужно пользоваться следующим ограничением:

– условие нормировки

Получится, что в среднем каждый символ алфавита интерпретирует (транспортирует) наибольший объём информации в том случае, когда все вероятности символов одинаковы, т.е. если распределение вероятностей равномерное. Т.е. энтропия достигает максимума при условиях:

Если (3) справедливо и учесть условие нормировки, то получится, что

подставляем в (1) при (2), получим:

Первое свойство, которым чтобы желательно обладали символы алфавита, интерпретирующие информацию, состоит в том, чтобы эти символы были равновероятными.

(5) справедливо, если между символами отсутствует статистическая зависимость.

Как изменится это соотношение, если появится статистическая зависимость?

[увеличится, уменьшится, не изменится]

Уменьшится, потому что при статистической зависимости каждый символ содержит часть сведений об остальных, т.е. часть сведений повторяется, а информация это то, что не повторяется, то, что является новым, следовательно, объём информации уменьшается.

Таким образом, для того чтобы каждый символ алфавита интерпретировал (переносил) наибольший объём информации нужно, чтобы буквы были статистически независимыми и равновероятными.

Количество информации, генерируемое источником.

0^ч 41^м 00^с

Количество информации, генерируемое источником информации в единицу времени ограничено в силу ограниченности разрешающей способности органов восприятия. Называется "ипсилон энтропии источника" – Hε. Hε – количество информации, генерируемое источником в единицу времени.

Уже понятно от чего будет зависеть производительность – от чувствительности органов восприятия и от скорости изменения состояния статистической системы или параметров (что то же самое).

Необходимо понять каким образом задаётся чувствительность или точность интерпретации представления потребителю сведений о параметре.

С одной стороны эта точность определяется самим потребителем.

Предположим, что потребителю необходимо знание изменения параметра во времени или как говорят знание реализации параметра. Потребитель хочет иметь у себя интерпретацию реализации параметра

Потребитель допускает некоторое отклонение от исходной реализации (обозначено "--------").

Между тем, что имеется реально и тем, что позволяет потребитель, имеется различие. Это различие именуется ошибкой интерпретации (ошибкой представления потребителю интересующего параметра). Величина этой ошибки характеризует точность представления (интерпретации). 0^ч 48^м 00^с

Эта ошибка x_yi(t) также какой-то непрерывный случайный процесс.

Есть области, где он положительный, есть – где отрицательный.

Для того чтобы количественно охарактеризовать этот непрерывный, случайный процесс, используются характеристики точности представления потребителю интересующего его параметра. Обычно пользуются двумя категориями характеристик точности представления:

1. Мощностная характеристика ошибки

Есть понятие полной мощности случайного процесса (ТВИМС) – второй начальный момент любого случайного процесса (например М₂)

второй начальный момент можно представить в следующем виде:

— математическое ожидание, — дисперсия

Если преобразовать y _i (t) в электрическую формулу, отобразить в электромагнитном поле: в виде тока, напряжения, напряжённости, то тогда мат.ожидание – это мощность постоянной составляющей этого тока, а дисперсия – это мощность всех переменных гармонических составляющих.

Вспомним, что такое энергетический спектр сигнала – имеется постоянная составляющая и множество гармоник, если ток случаен, то это множество гармоник безконечно большое.

Поэтому второй начальный момент называют мощностной характеристикой. Она отображает/характеризует мощность процесса.

Пользуясь мощностной характеристикой, строят т.н. характеристику точности представления/интерпретации, интересующего потребителя параметра. В качестве характеристики выбирают относительное среднеквадтатическое значение ошибки:

Эта величина характеризует количественно точность интерпретации/представление потребителю интересующего параметра.

Иногда представляют немного по-другому (другое представление той же характеристики):

– динамический диапазон параметра

0^ч 58^м 49^с

1. Интервальная характеристика ошибки

Это вероятность того, что значение ошибки превысит или не превысит некий допустимый уровень. Чаще пользуются "превысит".

Допустимый уровень должен быть достаточно малым и вероятность также должна быть достаточно малой величиной. Эта количественная характеристика точности представления параметра является более информативной, но её гораздо труднее вычислять, определять. Поэтому чаще пользуются мощностной характеристикой точности представления параметра потребителю.

Возвращаемся к производительности (ипсилон энтропии) H_ε

Она будет зависеть от:

– значения

– скорости изменения процессов –

При этом, если ошибка уменьшается, H_ε растёт. Если скорость увеличивается, то H_ε также растёт.

Процесс передачи информации.

1^ч 03^м 00^с

Информация обычно генерируется одной физической системой, а используется другой физической системой. Т.е. между источником и потребителем должна существовать среда, возможность передачи информации.

Существуют естественные процессы передачи информации.

Искусственные процессы передачи информации – для передачи информации между источником и потребителем используется искусственно созданная среда, или совокупность элементов, которые способны использовать естественную среду (э/м поле, акустическая среда, гравитационное поле).

Для нас средой при построении сетей будут являться различные разновидности э/м поля:

Э/м поле свободного пространства, э/м поле двухпроводной линии, включая коаксиальную, э/м поле волновода, э/м поле световода.

Как организовать процесс передачи информации, использую в качестве среды э/м поле?

Физическая система, изменяющая своё состояние, через параметры, которые мы можем использовать, генерирует информацию. Но параметры получаем разные – давление, хим.состав и т.д., а хотели бы использовать э/м поле как среду. Необходимо преобразовать интересующие потребителя параметры, грубо говоря, в электрический сигнал. П реобразователь, который это осуществляет, называют Э лектро- Ф изическим (ЭФП).

Электрический сигнал "кси итое от тэ" – первичный сигнал – это возмущение э/м поля, т.е. изменение параметров (характеристик) э/м поля: электрическая напряжённость, магнитная напряжённость, ток, напряжение. При этом желательно, чтобы оно [] полностью соответствовало исходному параметру, т.е. чтобы изменение во времени первичного сигнала было точно таким же, как изменение во времени интересующего потребителя параметра. На самом деле не может быть абсолютного соответствия между первичным сигналом и параметром, но, тем не менее, мы не будем принимать во внимание те ошибки, которые возникают в ЭФП.

Для того чтобы возникло возмущение в э/м поле, необходимы определённые энергетические затраты. Чем больше энергии будет передано от ЭФП в э/м поле, тем первичный сигнал будет интенсивнее, мощность этого сигнала будет больше.

Зачем необходима бОльшая мощность сигнала?

Затем, что кроме возмущений, которые возникают в силу воздействия ЭФП в э/м поле, возникает масса других возмущений (грозы, искрение двигателей и т.п.). Поэтому возмущения ЭФП должны быть мощными.

Что происходит дальше в процессе передачи?

Это возмущение распространяется в э/м поле и поступает на вход устройства – П реобразователя в Н ужную Ф орму [потребителю].

На вход ПНФ поступает не только первичный сигнал, но и другие возмущения, поэтому суммарное, что получается на входе ПНФ это уже несколько сдеформированный первичный сигнал – .

ПНФ – устройство, которое решает проблемы семантики, преобразует в форму удобную для потребителя (если потребителю не требуется реализация, а нужны какие-то характеристики параметра: мощность, дисперсия, мат.ожидание параметра, тогда ПНФ даст то, что ему[потребителю] требуется).

Дата добавления: 2014-01-13