На самостоятельную работу

Задача 4.

Задача 3

Задача 2

Задача 1.

Приклади визначення параметрів об'єднаної імовірнісної схеми

Маємо два дискретних немарковських джерела інформації з алфавітами та з такими розподілами ймовірностей появи символів:

Не розраховуючи ентропії джерел, дати відповідь, яке з них має більшу ентропію.

Розв’язання. Оскільки розподіл ймовірностей появи символів на виході джерела з алфавітом є більш близьким до рівноймовірного, ентропія цього джерела буде більшою, ніж джерела з алфавітом.

Розрахунки підтверджують цей висновок:

Матриця ймовірностей сумісної появи символів на виходах двох немарковських джерел з алфавітами та має вигляд:

Визначити, яке з джерел має більшу ентропію та чи є джерела статистично незалежними.

Розв’язання. Для відповіді на перше запитання розрахуємо, користуючись виразами (1.13), безумовні ймовірності появи символів на

виходах першого та другого джерел:

p (x ₁) = 0,0336 + 0,3150 + 0,0714 = 0,42 ;

p (x ₂) = 0,0264 + 0,2475 + 0,0561 = 0,33 ;

p (x ₃) = 0,0200 + 0,1875 + 0,0425 = 0,25 ;

p (y ₁) = 0,0336 + 0,0264 + 0,0200 = 0,08 ;

p (y ₂) = 0,3150 + 0,2475 + 0,1875 = 0,75 ;

p (y ₃) = 0,0714 + 0,0561 + 0,0425 = 0,17 .

Тепер можемо знайти ентропії джерел за виразом (1.1):

Таким чином, джерело з алфавітом має більшу ентропію, ніж джерело з алфавітом.

Відповідь на друге запитання можна отримати різними способами. По-перше, оскільки вже відомі значення ентропії та, доцільно перевірити, чи виконується рівність (1.18). Для цього розрахуємо сумісну ентропію. Підставивши чисельні значення ймовірностей у вираз (1.11), отримаємо:

Оскільки,джерела є статистично незалежними.

Другий спосіб базується на перевірці виконання співвідношень для всіх пар символів:

p (x ₁) × p (y ₁) = 0,42×0,08 = 0,0336 ;

p (x ₂) × p (y ₁) = 0,33×0,08 = 0,0264 ;

p (x ₃) × p (y ₁) = 0,25×0,08 = 0,0200 ;

p (x ₁) × p (y ₂) = 0,42×0,75 = 0,3150 ;

p (x ₂) × p (y ₂) = 0,33×0,75 = 0,2475 ;

p (x ₃) × p (y ₂) = 0,25×0,75 = 0,1875 ;

p (x ₁) × p (y ₃) = 0,42×0,17 = 0,0714 ;

p (x ₂) × p (y ₃) = 0,33×0,17 = 0,0561 ;

p (x ₃) × p (y ₃) = 0,25×0,17 = 0,0561 .

Як і слід було очікувати, розраховані ймовірності цілком збігаються із відповідними значеннями ймовірностей сумісної появи символів, що наведені в умовах задачі.

Найбільш універсальним способом оцінки статистичної залежності джерел є обчислення повної взаємної інформації. Аналізуючи вираз (1.23), легко зрозуміти, що для джерел цієї задачі,оскільки для усіх пар

Ще один спосіб розв’язання задачі базується на аналізі матриці умовних імовірностей. Розрахуємо, наприклад, умовні ймовірності, користуючись виразом:

Всі елементи кожного стовпця однакові і дорівнюють безумовній ймовірності появи відповідного символу. Це означає, що ймовірність появи символу на виході першого джерела не залежить від символу на виході другого джерела. Можна переконатись, що i в матриці умовних ймовірностей всі елементи кожного стовпця будуть однаковими і дорівнювати.

Маємо три дискретних немарковських джерела інформації з алфавітами,,. Матриці ймовірностей сумісної появи пар символів є такими:

Визначити, між якими джерелами статистичний зв’язок найбільший, а між якими найменший.

Розв’язання. Для відповіді на поставлене запитання треба знайти значення повної взаємної інформації для всіх пар джерел, та порівняти їх. Найпростіше в даному разі користуватись виразом

.

Щоб обчислити безумовні ентропії кожного з джерел, знайдемо безумовні ймовірності появи символів на виході джерел за виразом (1.13):

Слід зазначити, що значення кожної з ймовірностей можна отримати двома шляхами. Так є сумою елементів відповідних рядків першої матриці, або елементів стовпців третьої матриці. Це означає, що матриці, наведені в завданні, відповідним чином узгоджені.

Розрахуємо ентропії джерел, користуючись (1.1):

H (X) = 1,157 біт; H (Y) = 0,971 біт; H (Z) = 1,0 біт.

Далі за виразом (1.11) знаходимо сумісні ентропії:

Нарешті отримаємо:

Рівність нулю означає, що джерела з алфавітами тастатистично незалежні. Найбільший статистичний зв’язок має місце між джерелами з алфавітамита, оскільки має найбільше значення.

Известны энтропии двух зависимых источников Н(Х) = 5 бит; Н(Y) = 10 бит. Определить, в каких максимально возможных пределах будет изменяться условная энтропия Н(Y/X).

Решение. Уяснению соотношений между рассматриваемыми энтропиями источников информации способствует их графическое отображение.

При отсутствии взаимосвязи между источниками информации:

H(Y)

H(X,Y)

H(X)

Если источники информации независимы, то Н(Y/X) = Н(Y) = 10 бит, а Н(X/Y) = H(X) = 5 бит, и, следовательно, Н(X,Y) = H(X) + H(Y) = 5 +10 = 15 бит. Т.е., когда источники независимы Н(Y/X) = Н(Y) = 10 бит и поэтому принимают максимальное значение.

По мере увеличения взаимосвязи источников Н(Y/X) и Н(X/Y) будут уменьшаться:

H(X/Y)

H(Y)

H(X,Y)

H(X)

H(Y/X)

I(X,Y)

При полной зависимости двух источников один из них не вносит никакой информации, т.к. при появлении x_i неизбежно следует у_j, т.е. p(x_i, у_j) равно единице при и нулю при. Поэтому в, следовательно,.

H(Y)

H(X,Y)

H(X)

H(Y/X)

I(X,Y)

При этом, тогда. Поэтому будет изменяться от 10 бит до 5 бит при максимально возможном изменении от 5 бит до 0 бит.

Задача 1. Определите и Н(Y/X), если p(х₁,y₁) = 0,3; p(x₁,y₂) = 0,2; p(x₁,y₃) = 0,15; p(x₃,y₂) = 0,25; p(x₃,y₃) = 0,1.

Задача 2. Определите,, если p(х₁,y₁) = 0,2; p(x₂,y₁) = 0,4; p(x₂,y₂) = 0,25; p(x₂,y₃) = 0,15.

Задача 3

Маємо три дискретних немарковських джерела з алфавітами Ймовірності сумісної появи символів мають такі значення: p ( x ₁, y ₁, z ₁ ) = 0,048; p ( x ₁, y ₁, z ₂ ) = 0,012; p ( x ₁, y ₂, z ₁ ) = 0,072; p ( x ₁, y ₂, z ₂ ) = 0,162; p ( x ₂, y ₁, z ₁ ) = 0,272; p ( x ₂, y ₁, z ₂ ) = 0,068; p ( x ₂, y ₂, z ₁ ) = 0,300; p ( x ₂, y ₂, z ₂ ) = 0,060.

Знайти ентропії кожного з джерел, системи трьох джерел, а також повну взаємну інформацію для кожної пари джерел.

Дата добавления: 2013-12-12