Для равновероятных событий величина количества информации принимает максимальное значение

Количество информации - числовая характеристика сигнала, отражающую ту величину (степень) неопределенности (неполноту знаний), которая исчезает после получения данных. Эту меру неопределенности в теории информации называютэнтропией.

Энтропия - величина неопределенности (неполноты знаний), которая исчезает после получения данных.

Для ее измерения принимается минимальная единица хранения информации– 1 бит (binary digit), элемент памяти, который может переключаться между двумя состояниями, обозначаемыми 0 и 1. Связь между количеством информации и числом состояний системы устанавливается формулой Хартли:

N=2^I,

где: N – количество возможных событий,

I – количество информации.

Например, если мы бросаем монету, то сначала неопределенность наших знаний равна 2, так как мы не знаем, что выпадет «орел» или «решка». После броска мы уже знаем, в каком положении находится монета – либо «орел», либо «решка», т. е. неопределенность наших знаний уменьшилась в два раза.

Если события не равновероятны, то для вычисления энтропии (количества информации) используется формула Шеннона (1948г):

,

где: N – количество возможных событий,

I – количество информации,

p_i – вероятности отдельных событий.

Для равновероятных событий количество информации можно вычислить по формуле:

.

Задача 1. Эксперимент состоит в однократном подбрасывании игральной кости (6 граней). Чему равна информативность результата эксперимента?

Рассуждаем т. о. События не равновероятны, если судить о том, сколько выпадет точек на грани? А максимально-6. Допустим, что события равновероятны, тогда I=log₂6. А это меньше, чем log₂8=3. Ответ: Информативность результата меньше 3-х бит.

Семантическая емкость информации (знаний) – ее смысл, содержание общие для различных форм представляющих информацию данных (форм записи).

Представление информации в виде слов определяет вербальный характер информации

Адекватность или достоверность знаний (информации) – степень их соответствия реальности (Иногда эти понятия различают и понимают более узко, включая в адекватность степень соответствия ситуации намерениям источника, а в достоверность степень подтвержденности, гарантированности данных).

Свойства информации:

полнота (достаточность для данных целей),

доступность (возможность получения и использования),

актуальность (соответствие текущим задачам и ситуации),

объективность – субъективность (степень искажений, внесенных участниками и элементами информационного процесса)

Информационный процесс, основные операции с данными

Информация функционирует в информационном процессе.

Информационные процессы связывают между собой источник и получатель информации. Источником и получателем могут быть люди, живые организмы и их элементы, компьютеры и другие технические устройства.

Схема информационного процесса.

Источник - человек, документ, СМИ, датчик и т.д.

Информационный канал - способ передачи.

Цели использования информации в обществе.

Кодирование числовой информации

В памяти компьютера данные хранятся в виде дискретных единиц (знаков), закодированных цифрами. Минимальная единица хранения – 1 бит (binary digit). 1 бит- это элемент памяти (разряд), который может переключаться между двумя состояниями, обозначаемыми 0 и 1 и который может быть реализован на различных физических принципах – гидравлическом, механическом, электрическом, электронном и т.д. Любая информация в памяти занимает целое число бит. 1 бит может хранить признак принимающий одно из двух значений («ж», «м»). Для хранения признака с тремя значениями («ребенок», «средний возраст», «пожилой») необходимо и достаточно 2 бита. Два бита позволяют хранить признак с 4-мя значениями («ребенок», «подросток», «средний возраст», «пожилой»), В общем случае N бит позволяют хранить 2 ^N различных значений. Для хранения кода символов текста (66 знаков кириллицы, 52 латиницы, 10 цифр, ≈20 дополнительных) требуется 8 бит=1 байт.

Единицы памяти: 1 байт(б)=8бит, полуслово=2б(16бит), слово=4б (32бита), двойное слово=8б (64бита), Кбайт=1024(2¹⁰ бит), Мбайт=1024Кб(2²⁰ бит), Гигабайт=1024Мб (2³⁰ бит), Терабайт=1024Гб (2⁴⁰ бит).

1 килобайт (1 Кбайт) = 2¹⁰ байт = 1024 байт,

1 мегабайт (1 Мбайт) = 2¹⁰ Кбайт = 1024 Кбайт = 2²⁰ байт,

1 гигабайт (1 Гбайт) = 2¹⁰ Мбайт=1024 Мбайт = 2³⁰ байт,

1 терабайт (1 Тбайт) = 2¹⁰ Гбайт = 1024 Мбайт = 2⁴⁰ байт,

1 петабайт (1 Пбайт) = 2¹⁰ Тбайт = 1024 Тбайт = 2⁵⁰ байт.

1 экзабайт = 210 Пбайт =2⁶⁰ байт.

Кодирование текстовой информации.

Для кодирования текстовых (символьных) данных используются специальные кодовые таблицы. Кодовая таблица — это внутреннее представление в машине алфавитно-цифровой информации. При кодировании восьмибитовыми числами (1б) в кодовой таблице каждому символу — букве, цифре, служебному знаку присвоен какой-либо код — десятичное число от 0 до 255.

Во всем мире в качестве стандарта для представления символьной информации в компьютере используется американский стандартный ASCII (American Standard Code for Information Interchange). Кодовая таблица разделена на две половины. Первая — основной стандарт с кодами от 0 до 127, которые соответствуют основному международному стандарту ASCII, используется для кодирования цифр и букв латинского алфавита, а также управляющих символов (с кодами 0—31). Вторая половина кодовой таблицы — таблица расширений — с кодами от 128 до 255 не определяется международными стандартами и предназначена для кодирования символов национальных алфавитов, псевдографических символов и некоторых математических знаков

Недостаток – для букв кириллицы существует 5 таблиц кодировки: CP866 (для MS DOS), CP1251 (для MS Windows), ISO 8859–5 (автор – International Standards Organization), Mac (для Mac OS компьютеров Apple).

Существует система кодирования 16-битовыми словами (2б) позволяет обеспечить отдельные коды для 65 536 символов. Такая система получила название универсальной — UNICODE (ЮНИКОД), она позволяет закодировать в одной таблице все символы мировых алфавитов. Систему UNICODE поддерживает Windows 2000 и более поздние версии этой операционной системы.

Дата добавления: 2014-01-06