КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Основы кодирования
Проблемы кодирования и сжатия данных Проблемы хранения информации. Перед тем, как рассматривать вопросы хранения информации, стоит определиться, каким образом ее преобразовать в пригодную для хранения форму, в данном случае в двоичный код. Кодирование — представление сообщения (информации) последовательностью элементарных символов. Рассмотрим кодирование дискретных сообщений. Символы в сообщениях могут относиться к алфавиту, включающему n букв (буква — символ сообщения). Однако, число элементов кода k существенно ограничено сверху энергетическими соображениями. При передаче максимальная амплитуда зависит от k, а мощность пропорциональна квадрату амплитуды. Это один из аргументов, почему распространено двоичное кодирование. Количество информации в сообщении (элементе сообщения) определяется по формуле I = — log2 P, где Р — вероятность появления сообщения (элемента сообщения). При равновероятном появлении 1 и 0, один бит равен единице количества информации. Информационная энтропия характеризует степень неопределенности передаваемой информации. Информационная энтропия источника информации с N независимыми сообщениями есть среднее арифметическое количеств информации сообщений H = —1* Pk log2 Pk где Pk — вероятность появления k-го сообщения. Другими словами, энтропия есть мера неопределенности ожидаемой информации. Пример. Источник передает двоичный код с равновероятным появлением в нем a b c d, значит H = -(4*(0.25*-2) = 2. Теоремы Шеннона Первая теорема Шеннона декларирует возможность создания системы эффективного кодирования дискретных сообщений, у которой среднее число двоичных символов на один символ сообщения асимптотически стремится к информационной энтропии источника сообщений (при отсутствии помех).
Для рассмотренного выше примера оптимально кодировать каждую букву 2битами. Вторая теорема Шеннона относится к условиям надежной передачи информации по ненадежным каналам. И ее рассмотрение относится скорее к разделу передача данных. Двоичные кодировки: ASCII (American Standards Committee for Information Interchange) — семибитовый двоичный код. Для кодировки русского текста нужно вводить дополнительные битовые комбинации. Семибитовая кодировка здесь уже недостаточна. Так возникли кодировка КОИ-8, затем Windows 1251. Множество используемых кодировок существенно усложняет проблему согласования почтовых программ в глобальных сетях. Коэффициент избыточности сообщения А определяется по формуле r = (Imax — I)/Imax, где I — количество информации в сообщении А, Imax — максимально возможное количество информации в сообщении той же длины, что и А. Наличие избыточности позволяет ставить вопрос о сжатии информации без ее потери в передаваемых сообщениях. Эффект сжатия оценивают коэффициентом сжатия: где n — число минимально необходимых символов для передачи сообщения; q — число символов в сообщении, сжатом данным алгоритмом. Часто степень сжатия оценивают отношением длин кодов на входе и выходе алгоритма сжатия. Наряду с методами сжатия, не уменьшающими количество информации в сообщении, применяются методы сжатия, основанные на потере малосущественной информации. Устройства или программы, применяемые для компрессии и декомпрессии, называют кодеками(кодирование-декодирование).
Дата добавления: 2014-01-07; Просмотров: 510; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |