КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Теоретическое обоснование. Расчет и анализ информационных характеристик источников сообщений на основе энтропийного подходаРасчет и анализ информационных характеристик источников сообщений на основе энтропийного подхода
Цель и содержание: Цель – приобретение студентами навыков расчета и анализа информационных характеристик различных источников сообщений на основе энтропийного подхода. Содержание занятия: - изучение теоретического обоснования; - расчет энтропии различных типов источников сообщений (задачи 1 и 2); - определение информационной производительности и коэффициента избыточности источников сообщений (задачи 3 и 4); - оформление и защита отчета по лабораторной работе. Исторически первым возник энтропийный подход к определению количества информации, потому что еще в 19-м веке физики ввели понятие «энтропия» для определения величины, характеризующей процессы перехода тепловой энергии в механическую энергию. В какой-то мере эта величина характеризовала меру хаотичности (неопределенности) движения молекул. Понятие «энтропии» введено в 1865 г. Клаузиусом. Статистическая физика рассматривает энтропию как меру вероятности пребывания системы в данном состоянии (принцип Больцмана). Понятием энтропии широко пользуются в физике, химии, биологии и теории информации Наверное, поэтому знаменитый американский ученый Клод Шеннон (рисунок 2.1) в 1948 году опубликовал в журнале «Bell System technical» статью «Передача информации». В этой статье он назвал энтропией количество информации, вырабатываемой источником, и предложил количественную меру измерения информации. Рисунок 2.1 – Клод Элвуд Шеннон (англ. Claude Shannon, 1916 – 2001)
Согласно Шеннону, количество информации , содержащееся в элементе , выбираемом из алфавита , где , M – объем алфавита, с вероятностью , определяется как
где – частная энтропия. Количеством информации называют числовую характеристику информации, отражающую ту степень неопределенности, которая исчезает после получения информации. Частная энтропия определяет неопределенность выбора элемента для неподготовленного получателя и совершенно не учитывает как смысловое содержание, так и субъективную ценность передаваемого сообщения, т. е. в основе определения частной энтропии лежит только вероятностный характер источника сообщений. Основание логарифма в (2.1) может быть произвольным, оно определяет лишь систему единиц измерения количества информации. В двоичных системах связи для определения количества информации чаще всего используется основание два . При этом за единицу информации принимается один бит (англ. bit – bi nary digi t – двоичная цифра). Это количество информации, при котором неопределенность, т. е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения – да или нет. Говоря иначе, одна двоичная единица информации (один бит) – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью элементов. Среднее количество информации или среднюю частную энтропию, приходящуюся на один элемент, выдаваемую дискретным источником независимых элементов с объемом алфавита М, можно найти как математическое ожидание дискретной случайной величины :
Выражение (2.2) называется формулой Шеннона для энтропии источника с независимым и не равновероятным алфавитом. Здесь Н является средней неопределенностью, приходящейся на одно сообщение, т.е. энтропией источника сообщений. Исследуем теперь область значений, которые может принимать энтропия. Поскольку вероятность лежит в интервале от 0 до 1, слагаемые в формуле (2.2) для вычисления энтропии всегда либо отрицательны, либо равны нулю. Последнее получается, если либо , либо (в этом случае получается неопределенность типа , которую можно разрешить с помощью правила Лопиталя)
Поэтому энтропия Н может быть только положительной или равной 0.
Анализ (2.2) показывает, что максимальной энтропией обладает источник с равновероятным и независимым алфавитом :
Заметим, что формула (2.3) совпадает с выражением для количества информации по Хартли (рисунок 2.2). Таким образом, количество информации по Хартли можно считать частным случаем количества информации по Шеннону, когда события равновероятны и независимы.
Рисунок 2.2 – Ральф Винтон Лайон Хартли (англ. Ralph Vinton Lyon Hartley, 1888 – 1970)
Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации в сообщении из b элементов может быть представлено как произведение общего числа элементов на энтропию источника . Как отмечалось, энтропия максимальна, если вероятности сообщений или символов, из которых они составлены, одинаковы. Такие сообщения несут максимально возможную информацию. Если же сообщение имеет меньшую энтропию, количество находящейся в нем информации падает, а поскольку размер сообщения может оставаться прежним, говорят о его избыточности. Различают два вида избыточности – абсолютную и относительную. Абсолютная избыточность rabs находится в виде разности между максимально возможной и действительной энтропией сообщения:
Относительная избыточность находится как отношение абсолютной избыточности к максимальной энтропии и называется коэффициентом избыточности источника сообщений:
Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми элементами (памяти источника), так и от вероятности отдельных элементов алфавита источника. Если источник без памяти (последовательно передаваемые элементы независимы) и все элементы равновероятны, то и коэффициент избыточности . Если в единицу времени источник генерирует в среднем элементов ( – скорость выработки элементов источников), то количество информации, создаваемое источником в единицу времени
где – средняя длительность одного элемента. Характеристику называют информационной производительностью дискретного источника информации.
Дата добавления: 2015-07-02; Просмотров: 291; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |