Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Ентропія об'єднання двох джерел




УМОВНА ЕНТРОПІЯ

БЕЗУМОВНА ЕНТРОПІЯ.

ЕНТРОПІЯ ТА ЇЇ ВЛАСТИВОСТІ.

КІЛЬКІСНА МІРА ІНФОРМАЦІЇ.

АНСАМБЛІ ТА ДЖЕРЕЛА ПОВІДОМЛЕНЬ.

Завдання: засвоїти визначення, способи визначення кількості інформації в повідомленнях та джерелах.

Мета: Ознайомитися з поняттям кількості інформації, її вимірюванням, особливостями джерел повідомлень, оцінкою кількості інформації в повідомленнях, властивостями ентропії та її різновиди.

Лекція №2

Тема: „Кількісні характеристики інформації” (2 години)

План лекції:

 

 

1. АНСАМБЛІ ТА ДЖЕРЕЛА ПОВІДОМЛЕНЬ

 

Матеріальному світові, що оточує людину, притаманна безліч фізичних явищ, багато з яких змінюються в часі, маючи форму фізичних процесів, тобто таких явищ, фізичні показники яких не є миттєвими, а розподіленими в часі, які можна спостерігати кожної миті.

Будь-який матеріальний об'єкт разом Із спостерігачем утворює систему, яка називається джерелом повідомлень. На рис. 1 зображено схему системи взаємозв'язаних об'єктів і спостерігачів, вкладених одне в одне, стосовно передачі відомостей про певний фізичний об'єкт певному одержувачеві Для кожної стрілки на рис. 1 частина системи, розміщена ліворуч, може розглядатися, як спостережуваний об'єкт, а розташована праворуч — як спостерігач. При цьому не має значення природа спостерігача чи це людина, чи це якийсь прилад. Його головне завдання полягає в перетворенні відомостей про стан спостережуваного об'єкта на форму, зручну для прийняття іншими людиною або приладом.

 

Рис. 1

Стан матеріального об'єкта, а отже, і його фізичні показники можуть набувати значення з певного дискретного набору значень. Джерело повідомлень з таким об'єктом є дискретним. Якщо стан матеріального об'єкта, відбитий у його фізичних показниках, набуває значення з нескінченної множини можливих значень, то таке джерело повідомлень є неперервним. Принципово воно може бути зведене до дискретного, якщо прийняти допустимий рівень похибки та за її допомогою з нескінченної множини можливих значень повідомлень вибрати певний дискретний набір. Саме тут у наявності похибки та її допустимому рівні криється принципова різниця між дискретним і неперервним джерелами повідомлень.

Якщо під час деякого часового проміжку дискретним джерелом вибрано деяке повідомлення аі, яке ніяк не зумовлене повідомленням аі-1, вибраним у попередній проміжок часу, то таке джерело є дискретним джерелом без пам’яті.

Якщо в деякому часовому проміжку дискретним джерелом вибрано повідомлення аі, пов'язане з попереднім повідомленням аі-1 і статистично зумовлене ним, то таке джерело називається дискретним джерелом із пам’яттю.

Крім дискретних, можуть бути також неперервні джерела повідомлень із пам’яттю та без пам’яті. Переліченими тут типами не вичерпуються всі відомі джерела повідомлень. Є специфічні джерела повідомлень, в яких враховано статистичні якості фізичних параметрів.

Якщо кожного проміжку часу дискретне джерело повідомлень вибирає одне з k можливих повідомлень а1, а2, …, ak, то кажуть, що А={а1,..., ak} є дискретною множиною повідомлень, або просто множиною повідомлень А. Як правило, для повнішого опису джерела повідомлень на множині А визначають її імовірнісну міру, тобто з кожним дискретним повідомленням аі пов'язують ймовірність рі його вибору джерелом. Таким чином, множині А={а1,..., ak} зіставляється імовірнісна міра у вигляді множини Pk ={p1, …, pk}, на яку накладено обмеження у вигляді .

Дві множини А та Ρ дають достатньо повний опис дискретного джерела повідомлень у вигляді його імовірнісної моделі, а тому разом вони утворюють ансамбль повідомлень дискретного джерела. Це означає, що кожного проміжку часу дискретним джерелом вибирається певне повідомлення з імовірністю . Наведене вище обмеження є природною умовою включення до складу множини А повної групи подій, якими виступають дискретні повідомлення.

 

2. КІЛЬКІСНА МІРА ІНФОРМАЦІЇ

 

Розглянемо докладніше деякі властивості дискретного джерела повідомлень та моделі його ансамблю.

Нехай дискретне джерело повідомлень складається з людини-спостерігача та такого фізичного процесу, як колір неба. Якщо яскравого безхмарного дня в певну мить таким джерелом вибрано повідомлення «синій», то ніяких нових відомостей до наших знань про цей об'єкт воно не дасть, тобто можна сказати, що є повідомлення, але немає інформації, або її кількість дорівнює нулю.

Якщо ж за цих самих обставин джерелом вибрано якесь інше повідомлення про колір неба (наприклад, «зелений»), то воно дасть нові відомості про спостережуваний об'єкт, які додадуть до наших знань щось нове. Тоді можна сказати, що є повідомлення і в ньому є якась кількість інформації.

Зараз інформацію на якісному рівні інтуїтивно можна визначити як нове знання про стан спостережуваного об'єкта, а її кількість — як кількість нового знання про нього. Звичайно, якщо нове знання збільшує загальний рівень знання про стан об'єкта, то кількість інформації має накопичуватися додаванням і повинна мати адитивний характер. З іншого боку, спостерігач у певний момент часу нічого не знає про новий стан об'єкта. Він тільки спостерігає його і, лише вибравши нове повідомлення, дозволяє дістати якесь нове знання про об'єкт. Можна сказати, що до вибору повідомлення джерелом невизначеність стану об'єкта з боку спостерігача має певний рівень.

Після вибору повідомлення джерелом утворюється деяка кількість інформації про стан спостережуваного об'єкта, яка певною мірою зменшує цю невизначеність.

На якісному рівні можна дійти висновку, що кількість інформації може бути нульовою або мати якесь ненульове значення, повідомлення можна порівнювати за кількістю інформації в них, кількість інформації має накопичуватись додаванням, якщо складність повідомлення зростає.

Отже, розгляд дискретного джерела та множини його повідомлень приводить до формулювання таких природних вимог для визначення кількості інформації:

1. у повідомленні про вірогідний випадок вона має дорівнювати нулю;

2. у двох незалежних повідомленнях вона має дорівнювати сумі кількостей інформації в кожному з них;

3. вона не повинна залежати від якісного змісту повідомлення (ступеня його важливості, відомостей тощо).

Про зміст і значення першої вимоги йшлося вище. Друга вимога має на увазі статистично не зумовлені повідомлення. Третя вимога зумовлена необхідністю абстрагуватися від конкретного змісту повідомлення заради досягнення найзагальнішого характеру визначення кількості інформації.

Таким чином, для визначення кількості інформації в повідомленні треба виходити з найзагальнішої його характеристики. Таку характеристику, очевидно, дає модель джерела — ансамбль повідомлень.

Вище ми користувалися лише множиною повідомлень з ансамблю. Звернімо тепер увагу на множину ймовірностей цих повідомлень . Якщо йдеться про вірогідний випадок, імовірність якого або (ніколи не відбудеться неможливий випадок або точно відбудеться), то кількість інформації в ньому , оскільки рівень невизначеності щодо стану об'єкта після вибору джерелом такого повідомлення не змінився. Якщо ж джерело вибере не таке вже наперед визначене повідомлення, то рівень невизначеності щодо стану об'єкта знизиться. Отже, кількість інформації в повідомленні має бути функцією ймовірності цього повідомлення, тобто , , .

Для задоволення другої вимоги можна врахувати, що ймовірність двох незалежних повідомлень а1 та а2 за законом множення ймовірностей . Проте кількість інформації у цих двох повідомленнях

(1)

Звідси випливає необхідність вибору такої функції , значення якої при перемноженні її аргументів pj додавалися б і щоб . Єдиною функцією з такими властивостями є логарифмічна функція

(2)

де k — коефіцієнт, який узгоджує розмірності, а логарифм береться за будь-якою зручною основою.

При такому визначенні кількості інформації задовольняються всі три наведені вище вимоги. Вибір основи логарифма не принциповий, тому що від неї залежить лише одиниця фізичної величини (змінюється значення k):

Для того щоб кількість інформації І виражалась додатним числом, покладемо k = -1, оскільки p (а) < 1 та log p (а) < О, якщо основа логарифма більша від одиниці. Тоді

(2.4)

За основу логарифма найчастіше вибирають двійку. При цьому одиниця кількості інформації називається двійковою, або бітом (Binary digit). Вона дорівнює кількості інформації в повідомленні про такий випадок, який з однаковою ймовірністю може як відбутися, так і не відбутися, тобто коли моделлю еталонного джерела є ансамбль А = {а12} та P={0,5;0,5}.

Якщо за основу логарифма вибрано число е, то така одиниця інформації називається натуральною.

Рис. 2

Таким чином, кількість інформації в повідомленні тим більша, чим воно менш ймовірне, тобто більш неочікуване. Цю залежність відображено на рис. 2 кривою 1.

Коли джерело інформації породжує послідовність взаємозалежних повідомлень, то здобуття кожного з них змінює ймовірність наступних, а отже, кількість інформації І в них. Остання має вже визначатися умовною ймовірністю вибору джерелом цього повідомлення an, якщо до нього вибрано повідомлення аn-1, аn-2.

(2.5)

Визначена таким чином кількість інформації є величиною випадковою тому, що самі повідомлення випадкові. Розподіл її ймовірностей визначається розподілом повідомлень у цьому ансамблі.

 

3. ЕНТРОПІЯ ТА ЇЇ ВЛАСТИВОСТІ

 

Уже йшлося про те, що здобуття інформації від джерела знімає певною мірою невизначеність стану спостережуваного об'єкта. Якщо за час формування джерелом нового повідомлення об'єкт не змінює свій стан (тобто джерелом вибирається попереднє повідомлення з множини А), можна уточнити відомості про попередній стан об'єкта, включивши до цієї множини нові можливі повідомлення та перенормувавши ймовірності з множини Р.

Взагалі з самого початку до складу множини А слід включати такі повідомлення та таку кількість їх, щоб одним повідомленням можна було б визначити стан об'єкта з потрібною точністю. Це означає, що, формуючи модель джерела повідомлень (його ансамбль), треба заздалегідь передбачити всі необхідні повідомлення.

Інша справа, що кожне таке повідомлення може бути відображене певною кількістю символів, знаків тощо, переносячи певну кількість інформації. При цьому множина повідомлень Α є алфавітом повідомлень, а множина символів, знаків тощо, за допомогою яких спостерігач подає кожне повідомлення у формі, зручній для одержувача, — алфавітом джерела. В літературі перше іноді називають первинним, а друге — вторинним алфавітами.

Ми вже бачили вище, що немає ніякого значення, в якому алфавіті подаються повідомлення. Модель джерела (ансамбль) враховує лише склад їх і розподіл ймовірностей (поки що йдеться про статистично незалежні повідомлення).

Послідовності можуть різнитися не тільки кількістю повідомлень, а й кількістю інформації в кожній з них. Однак, якщо обчислити кількість інформації, яка припадає на одне повідомлення в одній послідовності та в іншій, то виявиться, що середня кількість інформації, яка припадає на одну літеру алфавіту повідомлень (це те саме, що й на одне повідомлення), не залежить від конкретних повідомлень і довжини послідовності їх.

Можна сказати, що це відношення (тобто кількість інформації, яка припадає на одне повідомлення) характеризує дискретне джерело повідомлень в цілому. Ця загальна характеристика джерела повідомлень називається його ентропією Η(А). Вона має фізичний зміст середньостатистичної міри невизначеності відомостей спостерігача А (див. рис. 1) відносно стану спостережуваного об'єкта.

Точно ентропію можна визначити як математичне сподівання питомої кількості інформації

(2.6)

У виразі (2.6) усереднення (як обчислення математичного сподівання) виконується по всьому ансамблю повідомлень. При цьому потрібно враховувати всі імовірнісні зв'язки між різними повідомленнями. З цього виразу випливає, що чим вища ентропія, тим більшу кількість інформації в середньому закладено в кожне повідомлення даного джерела, тим важче запам'ятати (записати) або передати таке повідомлення по каналу зв'язку.

Необхідні витрати енергії на передачу повідомлення пропорційні його ентропії (середній кількості інформації на одне повідомлення). Виходить, що кількість інформації в послідовностях визначається кількістю повідомлень N у послідовності та ентропією H(А) джерела, тобто

i(N) = NH(A). (2.7)

Розглянемо вироджене дискретне джерело з єдиним повідомленням з p(а) = 1. Тоді Η(А)=0 згідно з (2.6). Якщо p(а) = 0, то Η (А) теж дорівнюватиме нулю. Таким чином, ентропія завжди додатна або дорівнює нулю, тобто невід'ємна. Це перша її властивість.

Друга властивість ентропії випливає з виразу (2.6), згідно з яким вона є величиною адитивною. Якщо N-вимірні послідовності повідомлень a1, a2,..., aN, розглядати як збільшені повідомлення нового джерела, то його ентропія буде в N разів більшою від початкової.

Якщо алфавіт має k різних повідомлень, то . Тут рівність стосується тільки рівноймовірних і статистично незалежних повідомлень . Число k називається обсягом алфавіту повідомлень.

 

2.4. БЕЗУМОВНА ЕНТРОПІЯ

 

Термін «безумовна ентропія» запозичений з математичної статистики за аналогією з безумовною ймовірністю, що стосується статистично незалежних подій, тут — повідомлень. Отже, безумовна ентропія — це кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями.

За цим визначенням розглянута в п. 2.3 ентропія є безумовною. Зупинимося докладніше на безумовній ентропії та її властивостях.

Якщо є дискретне джерело статистично незалежних повідомлень з ансамблем та , то кількість інформації (середня), що припадає на одне повідомлення а{ є А й визначається формулою Шеннона

(2.8)

є характеристикою цього джерела в цілому. Вона має фізичний зміст середньої за ансамблем невизначеності вибору джерелом повідомлення з А, причому байдуже, якого саме повідомлення, оскільки обчислення ентропії (2.8) «поглинає» індекс i.

Наведені в п. 2.3 властивості ентропії при цьому зберігаються, тобто якщо p = 1 або 0, то до ансамблю А не може входити більш як одне повідомлення. Таким чином,

(2.9)

або

де невизначеність , якщо її розкрити за правилом Лопіталя через граничний перехід, дає

. (2.10)

Останній випадок потребує пояснення. Якщо є ансамбль з алфавітом А, в якому певне повідомлення ak має ймовірність pk = 0, то таке повідомлення ak можна просто виключити з ансамблю та далі не розглядати, оскільки для всіх складова частка H(А) із (2.8) дорівнює нулю за (2.10). Якщо при цьому в алфавіті А залишиться лише одне повідомлення (припустимо, їх було два), то очевидно, що р=1 для залишеного повідомлення і маємо випадок (2.9).

Якщо в алфавіті А буде більше, ніж одне повідомлення, то виключення ak з А(р(ak) = 0) лише спростить модель джерела — його ансамбль і не змінить результат обчислення ентропії H(А).

Безумовна ентропія Κ рівноймовірних повідомлень завжди максимальна й визначається виразом

(2.11)

який називається формулою Хартлі. Її легко дістати з формули Шеннона (2.8).

Таким чином, основними властивостями безумовної ентропії дискретних повідомлень є такі:

· ентропія — величина дійсна, обмежена та невід'ємна;

· ентропія вірогідних повідомлень дорівнює нулю;

· ентропія максимальна, якщо повідомлення рівно ймовірні та статистичне незалежні;

· ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

· ентропія складеного джерела, повідомлення якого складаються з часткових повідомлень кількох статистичне незалежних джерел, дорівнює сумі ентропії цих джерел.

 

2.5. УМОВНА ЕНТРОПІЯ

 

Теорія математичної статистики визначає умовну ймовірність через безумовні ймовірності p(α), p(b) та сумісну безумовну ймовірність p (ab) за законом множення ймовірностей:

. (2.13)

Звідси випливає, що

. (2.14)

Зокрема, для статистично незалежних повідомлень а та b умовні ймовірності появи повідомлень вироджуються в безумовні.

Розрізняють два різновиди умовної ентропії: часткову та загальну.

Першу знаходять так:

; (2.17)

; (2.18)

де , – алфавіти повідомлень; аi, – конкретне повідомлення, відносно якого визначається часткова умовна ентропія Η (В/аi) алфавіту В за умови вибору попереднього повідомлення аi; bj – конкретне повідомлення, відносно якого обчислюється часткова умовна ентропія Η (A/bj) алфавіту А за умови вибору попереднього повідомлення bj, і – номер повідомлення з алфавіту A; j – номер повідомлення з алфавіту В; p(a/b), p(b/a) — умовні ймовірності.

Термін «вибір попереднього» досить умовний, оскільки повідомлення a та b можуть бути рознесені в часі, але знаходитися разом у просторі, або бути одночасними чи майже одночасними та рознесеними в просторі (як на рис. 1). Ніякі обмеження на алфавіти А та В не накладаються. Вони можуть навіть збігатися (А = В). Тому можна аналізувати і враховувати взаємозв'язок між повідомленнями одного й того самого джерела в одному й тому самому алфавіті повідомлень, рознесеними в часі, але не в просторі (наприклад, на виході джерела А чи В згідно з рис. 1). Такі послідовності зумовлених повідомлень називаються ланцюгами Маркова.

З іншого боку, алфавіти А та В можуть не збігатися (А ≠ В), хоча між елементами їх може бути й відповідність. Цю ситуацію відбито на рис. 1, де джерело А має свою модель — ансамбль А та РА. Оскільки воно може мати k дискретних станів, джерело А виступає як об'єкт спостерігача В і разом із ним утворює нове джерело В, яке має свою модель — ансамбль В та РВ. Між джерелом А та спостерігачем В існує канал зв'язку, в якому діють завади, що порушують процес вибору спостерігачем В повідомлень . Це, в свою чергу, порушує відповідність між повідомленнями та .

Алфавіти А та В можуть бути однакового (k = l) і неоднакового (k ≠ l) обсягів. Звичайно розглядають ситуації, коли k = l або k < l. Система спостереження з k = l має природне пояснення. Тут спостерігач В повинен реагувати своїм повідомленням bj (j = 1... І) на кожний стан джерела А, висловлений повідомленням аi (. (ί = 1... k).

Як згадувалося вище, завади (рис. 3) порушують вибір повідомлень bj·джерелом В. За цих обставин, якщо джерелом А вибрано певне повідомлення аi, якому має відповідати повідомлення bj, то джерело В може вибрати будь-яке повідомлення bj з імовірністю p (bj / ai).

Рис. 3

Існують певні ситуації, за яких систему доводиться ускладнювати, вибираючи l > k (частіше l = k + 1, див. рис. 3). При цьому повідомлення bl не відповідає ніякому повідомленню аі, а є ознакою та повідомленням про особливий стан спостерігача В, який відмовляється від вибору якогось певного повідомлення bj y відповідь на повідомлення аі. Цей стан спостерігача називається стиранням повідомлення.

Згадаємо ще також про те, що крім статистичного зв'язку між парами повідомлень у довгих послідовностях (рознесення в часі) або в складених системах (рознесення в просторі) часто спостерігається статистичний зв'язок між трьома, чотирма й більше повідомленнями, що зумовлює наявність умовної ентропії більш високого порядку.

Тепер повернемося знову до часткової умовної ентропії і будемо дотримуватися моделі системи спостереження, показаної на рис. 3 без стирання, тобто коли l = k. Звернемося до фізичного змісту умовної ентропії. Як і при визначенні безумовної ентропії, часткова умовна ентропія є математичним сподіванням значення p(ai / bj) або p(bj / ai). Це поняття відбиває середню за повним алфавітом кількість інформації, що припадає на одне повідомлення цього алфавіту (джерела). Тому H(A/bj) в (2.17) є питомою кількістю інформації джерела А за умови, що вже встановлено, факт вибору джерелом В певного повідомлення bj, Η(Β/ ai) в (2.18) — питомою кількістю інформації джерела В за умови, що вже відомо стан джерела А. Іншими словами, H(A/bj) — це середня кількість інформації, яка містилася в будь-якому повідомленні джерела А, якщо джерело В вибрало повідомлення bj (j = 1... k), a Η(Β/ ai) — середня кількість інформації, здобутої після вибору джерелом В будь-якого свого повідомлення, коли відомо, що джерело А знаходилося в стані ai (i = 1... k). Часткова умовна ентропія визначається як статистичне усереднення за методом зваженої суми (2.17), (2.18) по індексу i= 1...k a6o j= 1...k відповідно. Ураховуючи викладене вище, загальну умовну ентропію можна визначити так: якщо часткова умовна ентропія джерела А відносно конкретного повідомлення bj дорівнює H(A/bj), a розподіл імовірностей РB джерела В задано ансамблем В із Рв = = {р (b1), ···, p(bj),..., p(bk)}, то цілком природно обчислити середнє по j значення H(A/bj) за всіма j як статистичне усереднення методом зваженої суми, тобто

, (2.19)

де H(А/В) — загальна умовна ентропія джерела А відносно джерела В. Це питома (середньостатична) кількість інформації, що припадає на будь-яке повідомлення джерела А, якщо відомо його статистичну взаємозалежність із джерелом В.

Аналогічно (2.19) загальна умовна ентропія джерела В відносно джерела А визначається виразом

, (2.20)

що є питомою (середньостатичною) кількістю інформації, яка припадає на будь-яке повідомлення джерела В, якщо відомо його статистичну взаємозалежність із джерелом А.

Вирази (2.19) і (2.20) є операціями згортки за індексом, внаслідок якої операція (2.19) «поглинає» індекс j, а операція (2.20) — індекс i.

Загалом статистична залежність джерела В від джерела А відбивається матрицею прямих переходів повідомлень аі (і = 1...k) джерела А в повідомлення bj (j=1...k) джерела В:

. (2.21)

На головній діагоналі цієї матриці розміщено умовні ймовірності прямої відповідності, які характеризують правильний вибір джерелом В своїх повідомлень (тобто відповідно до повідомлень джерела А). Решта ймовірностей відповідають неправильному вибору повідомлень джерелом В.

Матриця (2.21) відбиває вплив завад у каналі між джерелом А та спостерігачем В (див. рис. 1). Якщо завади непомітні або зовсім відсутні, то маємо однозначну відповідність.

Кожний рядок у (2.21) є спотвореним розподілом імовірностей РB появи повідомлення . Джерело В має розподіл безумовних імовірностей Рв. Врахування статистичного впливу повідомлення спотворює цей розподіл (або уточнює його) і дає новий розподіл імовірностей Ρ(B/ аi) для i-го рядка матриці. Саме тому виконується закон нормування

. (2.22)

Статистична залежність джерела А від джерела В відбивається матрицею зворотних переходів. Вона відображає k розміщених стовпцями варіантів спотворених первинних розподілів імовірностей ансамблю А, які відчувають на собі статистичний вплив повідомлень bj (j = 1... k), вибраних джерелом В. Саме тому для кожного такого розподілу

. (2.23)

Відзначимо окремо такі властивості умовної ентропії:

1. Якщо джерела повідомлень A та В статистично незалежні, то умовна ентропія джерела А відносно джерела В дорівнює безумовній ентропії джерела А й навпаки:

,

2. Якщо джерела повідомлень А та В настільки статистичне взаємозв'язані, що виникнення одного з повідомлень спричинює безумовну появу іншого, то умовні ентропії їх дорівнюють нулю:

.

3. Ентропія джерела взаємозалежних повідомлень (умовна ентропія) менша від ентропії джерела незалежних повідомлень (безумовна ентропія).

4. Максимальну ентропію мають джерела взаємонезалежних рівноимовірних повідомлень, умовна ентропія яких дорівнює нулю, а ймовірність появи символів алфавіту p=1/k, де k — кількість повідомлень в алфавіті.

 

2.6. ЕНТРОПІЯ ОБ'ЄДНАННЯ ДВОХ ДЖЕРЕЛ

 

Ентропію H(А,В) об'єднання двох джерел А та В знаходимо через імовірність сумісної появи пар повідомлень ai, bj для всіх i = 1...k тa j = 1... l, яку позначимо p(ai,bj). Для цього складемо матрицю типу (2.21), що визначає розподіл сумісної безумовної ймовірності двох джерел:

. (2.24)

Оскільки p(ai,bj) — це ймовірність сумісної появи двох повідомлень, ентропія Η (А, В) є середньою кількістю інформації, що припадає на два довільних повідомлення джерел А та В й визначається так:

. (2.25)

Зрозуміло, що

H (А, В) = H (В, А), (2.26)

оскільки =. Для сумісної появи повідомлень ai та bj послідовність запису їх не має значення.

Розглянемо докладніше вираз (2.25). Якщо врахувати (2.13), то можна записати

. (2.27)

Згадавши, що логарифм добутку дорівнює сумі логарифмів (це властивість адитивності кількості інформації), розкладаємо (2.27) на два доданки. Врахувавши, що , перша складова відповідно до (2.8) визначає безумовну ентропію джерела А, тобто

,

а друга складова відповідно до (2.21) є загальною умовною ентропією H(Β/Α). Отже,

H (А, В) = Η (Α) + Η (Β/Α). (2.28)

Властивість симетрії (2.26) дає змогу провести подібні перетворення ще раз і дістати інший вираз ентропії H(А, В), а саме:

Η (А, В) = Η (В) + Η (А/В). (2.29)

З урахуванням (2.28) і (2.29) загальну умовну ентропію можна визначити порівнянням безумовної ентропії об'єднання джерел та ентропії одного з них — А чи В:

Н(В/А) = Н(А,В)-Н(А); Η (А/В) = Η (Α, Β)-Η (В). (2.30)

Кількість інформації, що припадає на одне повідомлення, передане по каналу зв'язку в системі спостереження (див. рис. 1) від джерела А спостерігачеві В за наявності завад у каналі та статистичній зумовленості ансамблів А та В, визначається виразом

І(А,В) = Н(А)-Н (А/В) = H(В) - H(В/А) =H(B)-H(B/A)=H(А) + H(В) - Η(А, В). (2.31)

Відзначимо такі основні властивості ентропії об'єднання двох джерел:

1. При статистичне незалежних повідомленнях джерел А та В ентропія об'єднання їх дорівнює сумі ентропії окремих дже­рел, тобто

Η (А, В) = Η (Α) + Η (В). 46

2. При повній статистичній залежності джерел А та В ентропія об'єднання їх дорівнює безумовній ентропії одного із джерел, тобто

Η (А, В) = Η (Α) = Η (В).

3. Ентропія об'єднання двох джерел відповідає нерівності

H (А, В) < Η (Α) + Η (В).

 

КОНТРОЛЬНІ ЗАПИТАННЯ

1. Що таке джерело повідомлень?

2. Що таке ансамбль повідомлень?

3. Як визначається кількість інформації в одному повідомленні?

4. Що таке ентропія та які її властивості?

5. Що таке безумовна ентропія?

6. Що таке умовна ентропія?

7. Які основні властивості безумовної ентропії?

8. Які є різновиди умовної ентропії?

9. Які основні властивості умовної ентропії?

10. Як визначається часткова умовна ентропія?

11. Як визначається загальна умовна ентропія?

12. Як визначається ентропія об'єднання двох джерел?

13. Які основні властивості ентропії об'єднання двох джерел?

14. Як визначається кількість інформації на одне повідомлення двох статистично взаємозв'язаних джерел?

15. За яких умов ентропія джерела стає максимальною?




Поделиться с друзьями:


Дата добавления: 2014-01-11; Просмотров: 4207; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.14 сек.