КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Измерение количества информации по Р.ХартлиМеру количества информации установил в 1928 году Р.Хартли на основе предложенной им концепции выбора. Согласно этой концепции связь между отправителем и получателем информации осуществляется только при наличии определенного набора сообщений, из которых отправитель в каждый момент времени выбирает только одно. В результате последовательных выборов вниманию получателя предлагается последовательность сообщений (символов). Во время каждого выбора исключаются все другие сообщения (символы), которые могли бы быть выбраны. Пусть сообщение состоит из элементов, которые последовательно и независимо выбирают из равновероятных элементов. Число возможных сообщений в этом случае (по теореме 1): (1.3) Хартли установил, что в роли меры количества информации, которая имела бы практическую ценность, лучше выбрать не число , а логарифм этого числа: (1.4) Мера количества информации, введенная Хартли, целиком согласуется с природными интуитивными требованиями к такой мере. Прежде всего, интуитивно ощущается, что количество информации в сообщении будет тем больше, чем длиннее сообщение: например, более длинная телеграмма содержит и больше сведений. Кроме этого, характеристика какого-нибудь явления будет тем лучше, чем большую разновидность сообщений о нем можно использовать. Например, оценка студента по 100-бальной системе лучше отражает его знания, чем пятибальная. Формула (1.3) отображает и зависимость количества информации от длины сообщения и от разнообразия элементов в сообщении . Следует отметить: для вывода формулы (1.4) Хартли сделал предположение, что элементы сообщения равновероятны и выбор каждого элемента осуществляется независимо от того, какие элементы были раньше выбраны. В информметрии идеи Хартли интерпретируются с более общей позиции, которая вытекает из понятия системы. Пусть есть система из равновероятных (равновозможных) состояний. Если каждое состояние системы закодировать равномерным кодом определенной длины над алфавитом , то длину нужно выбрать так, чтобы число всех разных комбинаций было меньше чем . Наибольшее число, при котором это возможно, или мера разнообразия множества состояний системы задается формулой Р.Хартли: (1.5) где - коэффициент пропорциональности (масштабирования, зависимо от выбранной длины измерения), - основа системы меры, - количество информации, которую дает появление одного из равновозможных состояний системы. Поскольку в информационных процессах наиболее широко используется двоичная система счисления, то из практических соображений выбирают . Формулу Хартли рассматривают в виде: (1.6) где - количество равновозможных состояний системы, - количество информации в битах. Отметим, что бит в данном случае имеет другое толкование, чем при техническом (алфавитном) подходе при оценивании информации. Бит – это количество информации, которая поступает от системы, что имеет два разных, одинаково возможных для реализации состояний. . Следовательно, тут бит не является наименьшей единицей измерения информации.
Дата добавления: 2014-12-07; Просмотров: 784; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |