![]() КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Характеристики непрерывных источников
Любой источник информации создает случайный выход: если выход известен точно, его не надо передавать. Источник дискретной информации с алфавитом из символов выдает последовательность символов из алфавита. Так, компьютеры и устройства хранения информации, такие как магнитные или оптические диски, имеют дискретный выход. Пусть для каждого символа алфавита задана вероятность выбора, где. Возьмем две математические модели дискретных источников. Символы выходной последовательности дискретного источника без памяти (ДИБП) статистически независимы друг от друга. Если выходные символы дискретного источника статистически взаимосвязаны, как, например, в тексте на русском или другом языке, можно построить стационарную модель. Совместные вероятности двух последовательностей дискретного стационарного источника: и, длины одинаковы при и любых сдвигах. Характеристики дискретных источников Количество информации в событии
где Согласно (2.1), собственная информация
дает количество информации в
Пример 2.1.1. Пусть дискретный источник равновероятно выдает двоичную цифру
Определим условную собственную информацию
где Комбинируя (2.1), (2.2) и (2.3), получим
Средняя взаимная информация случайных величин
где Средняя условная собственная информация - условная энтропия,
где Энтропия источника равна его средней собственной информации на символ,
Из (2.1), (2.5), (2.6) и (2.7) следует
Из (2.8) и
Пример 2.1.2. Возьмем источник, выдающий последовательность независимых символов:
Для источника с объемом алфавита
Так как
Наибольшее значение:
где Пусть есть блок из
Так как
Так как
где равенство верно, если
Аналоговый источник выдает непрерывный сигнал
где Пусть
Сообщение
Пример 2.2.1. Из(2.17)выразим дифференциальную энтропию гауссовской величины
При заданной дисперсии среди случайных непрерывных величин с разными законами распределения наибольшую дифференциальную энтропию имеет гауссовская величина Условная дифференциальная энтропия случайной непрерывной величины
Учитывая (2.16), (2.17) и (2.19),
Дата добавления: 2014-01-07; Просмотров: 292; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |