Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Імовірність повідомлення




Одиниці виміру інформації та їх розрахунок.

Імовірність повідомлення.

Тема: Інформаційні характеристики джерел дискретних та неперервних повідомлень.

Зміст

З визначення інформації як сукупності новин для споживача випливає, що в загальному випадку дати оцінку кількості інформації досить важко, оскільки кожне повідомлення має свій семантичний зміст, свій сенс і певну цінність для споживача. Те ж саме повідомлення може давати одному споживачеві багато інформації, іншому - мало.

Тому змістовна сторона повідомлень не враховується при визначенні виміру інформації в теорії інформації. За основу виміру кількості інформації взяті імовірнісні характеристики повідомлень, які не пов'язані з їх конкретним змістом, а відображають міру невизначеності (несподіванки). У такому визначенні, в першу чергу, враховується той узвичаєний факт, що чим менша імовірність повідомлення, тим більше інформації воно несе. Тому за кількість інформації І(аі) в окремо взятому повідомленні Р(аі) визначено величину, що дорівнює логарифму оберненого значення імовірності Р(аі) даного повідомлення:

(3.1)

Логарифмічна міра, що вперше запропонована в 1928 p. P. Хартлі, має також властивість адитивності, - кількості інформації від незалежних джерел додаються. Крім того, при Р(аі)= 1 кількість інформації, якщо її розраховувати за формулою (3.1), дорівнює нулю, що відповідає визначенню інформації (повідомлення про відому подію ніякої інформації не несе).

Приклад. Обчислити імовірність появи повідомлень джерела при L=25 рівноімовірних рівнів квантування.

Розв'язок, р = 1/L = 1/25 = 0,04.

Вибір основи логарифма у формулі (3.1) дає одиницю виміру інформації. У разі використання десяткового логарифма (b = 10) одиницею виміру інформації є десяткова одиниця, скорочено - діт; у разі використання натурального логарифма одиницею виміру є натуральна одиниця - нат.

Зручніше в системах, що працюють із двійковими кодами (ЕОМ, двійкові системи зв'язку тощо), використовувати основу логарифма b = 2, тоді інформація вимірюється у двійкових одиницях - дв.од. Дуже часто замість дв.од. використовують еквівалентну назву - біт (bit), що виникла як скорочення англійських слів binari digit (двійкова цифра). Отже, при Р(аі) = 0,5 маємо I(aі) = - log2 0,5 = 1 біт, тобто 1 біт - це кількість інформації, яку несе повідомлення, імовірність якого Р(аі) = 0,5. Оскільки ймовірність повідомлення 0 Р(аі) ≤ 1, то кількість інформації в повідомленні, якщо її розраховувати за формулою (3.1), може бути будь-яким додатнім числом.

Приклад. Знайти кількість інформації в дискретному повідомленні, імовірність якого Р(аі) = 0,3; 0,03.

Розв'язок. І(а1)= -Iog2P(a1)= -1оg0,3 ≈ -1,443 - ln0,3 = 1,74 біт;

І(а2)= -log2P(a2)= -log20,03 ≈-1,443-ln0,03=5,06 біт.

 

Для обчислення двійкових логарифмів користуємось математичним правилом: log2 z = ln z/ln 2 ≈ 1,443-ln z.

Приклад. Знайти кількість інформації в слові українського тексту із N = 8 букв. Для спрощення розрахунків прийняти, шо букви рівноймовірні і незалежні, а їх число Мa = 32.

Розв'язок. I(aN)= -log2P(a8)= 8·lоg2 32 = 40 біт.




Поделиться с друзьями:


Дата добавления: 2014-01-04; Просмотров: 400; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.007 сек.