Понятие информатики и информации, свойства информации, количество и качество информации, энтропия, меры информации, сообщения и сигналы

Лектор

Попов

Дмитрий Иванович

Доктор технических наук, заведующий кафедрой Информатика и вычислительная техника МГУП, директор Института открытого образования МГУП

На этой лекции мы рассмотрим понятия информатики и информации, свойства информации, количество и качество информации, энтропию, меру информации, сообщения и сигналы. План лекции у нас следующий:

1. Понятие информатики;

2. Понятие информации;

3. Определение данных, знаний, сообщений и сигналов;

4. Основные свойства информации;

5. Меры информации;

6. Определения количества информации и энтропии;

7. Единицы измерения информации;

8. Основные показатели качества информации.

Перейдем к рассмотрению указанных понятий. Итак, понятие информатики.

Информатика-это наука и технология обеспечения информационного обмена с помощью систем, основанных на применении ЭВМ; информатика изучает все аспекты получения, хранения, преобразования и использования информации.

Сам термин информатика, пришел к нам из французского языка, где-то в 60-х годах этот термин вошел в научно-техническую литературу. В англоязычных странах используется термин «computer science» это дословно может быть переведено, как вычислительная наука. Эти термины и изучают основные понятия, связанные с информатикой.

Информатика является комплексной дисциплиной:

Во-первых, это естественная наука, например, фундаментальные и прикладные исследования.

Во-вторых, информатика – это отрасль промышленности, т.е. есть определенный опыт в конструкторской деятельности, есть определенные предприятия, которые реализуют те или иные технические решения.

В-третьих, это некоторая инфраструктурная область, например, профессиональная деятельность, эксплуатация систем информатизации, информатизация в образовании, в промышленности и т.д. Как фундаментальная наука информатика связана:

-с философией – через учение об информации и теорию познания;

-с математикой – через теорию математического моделирования, математическую логию, теорию алгоритмов и т.д.;

- с лингвистикой – через учение о формальных языках и о знаковых системах.

Она так же тесно связана с теорией информации и управления.

Структура информатики может быть представлена в виде трех основных направлений.

Первое направление – теоретическая информатика. В эту область относятся такие дисциплины, научные направления, как: теория алгоритмов, автоматов, параллельных вычислений; матлогика, вычислительная математика и геометрия; теория информации, дискретная математика; системный анализ, теория систем, имитационное моделирование, теория массового обслуживания; теория принятий решений, теория игр, математическое программирование, исследование операций.

Второе направление – техническая информатика. Это направление связано с разработкой аппаратных и программных средств. Здесь широко известны такие направления и дисциплины, как: вычислительная техника и программное обеспечение; сети ЭВМ, телекоммуникации и связь, кибернетика, теория автоматического управления и подобного рода дисциплины.

Третье направление – прикладная информатика. Оно связано с применения информатики в разнообразных направлениях деятельности человека. Здесь мы можем взять любую науку, любую дисциплину и, добавив слова «информационные технологии», получим прикладную дисциплину, связанную с информатикой. Приведём примеры: информатика в природе, информатика в обществе, юридическая информатика, экономическая и т.д. К этому же направлению относятся сугубо прикладные дисциплины и исследования в области технологий программирования, искусственного интеллекта, нейрокибернетика, информационные системы, экспертные системы, системы автоматизированного проектирования, автоматизированные системы обработки информации и управление и прочие.

Таким образом, мы видим, что информатика представляет собой очень большую и обширную область знаний, несмотря на то, что это молодая наука и, как мы уже обозначили, ее развитие относится к середине ХХ века.

Теперь перейдем к понятию информации. Как мы с вами видели, в определении информатики ключевым понятием является информация.

Само слово «информация» достаточно древнее, оно происходит от латинского названия, которое обозначает разъяснение, ознакомление, осведомление. Под информацией понимается вся совокупность сведений об объектах, событиях, процессах и фактах, имеющих место в живой и неживой природе, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний. Это понятие неопределенности и неполноты знаний, которое фигурирует в определении информатики, является ключевым. Оно служит дальнейшему развитию изучения термина энтропия, который мы рассмотрим несколько позже.

В самом термине информация, как вы видите, есть несколько элементов, связанных с понятиями сообщения, т.е. фактически с позиции материалистической философии информация есть отражения реального мира с помощью сведений (сообщений). В широком смысле информация – это общенаучное понятие, включающее в себя обмен сведениями между людьми, обмен сигналами между живой и неживой природой, людьми и устройствами.

Теперь рассмотрим понятия, которые непосредственно связаны с понятием информации: это понятия данных, знаний и сообщений.

Для передачи и хранения информации используются различные знаки (символы), позволяющие выразить (представить) ее в некоторой форме.

Сообщение – это форма представления информации в виде речи, текста, изображения, цифровых данных, графиков, таблиц и т.п.

Как правило, носителем информации считается сигнал, и этот термин происходит от одноименного латинского термина «signum» – знак. Если дать более четкое определение, то сигнал – это физический процесс, отражающий передаваемое сообщение и распространяющийся в определенном направлении. Приведем примеры некоторых сигналов: аналоговые и цифровые. В следующей лекции будет более подробно рассматриваться различие этих сигналов. График некоторой функции – это аналоговый сигнал.

Сигналы и сообщения встречаются повсюду, например, мы можем закодировать с помощью нулей и единиц некоторую последовательность информации, которая будет нести определенный смысл и значение для получателя. В данном случае эти нули и единицы будут представлять собой сигнал, а вся совокупность этих нулей и единиц – сообщение. Точно так же может быть не в двоичной, а в любой другой системе счисления с положительными или отрицательными (вещественными) значениями. Например, сообщение 2х2=4 это тоже сообщение, которое состоит из сигналов, в данном случае символьных сигналов.

И, наконец, представим себе графическое изображение – это тоже сообщение. Каждая точка на определенном рисунке представляет собой сигнал, который отображается в виде контрастности, яркости - это тоже сигналы и из них составляется сообщение, которое в данном случае представляет собой некоторое изображение.

Таким образом, мы видим, что сигналы и сообщения повсеместны и в деятельности человека представляет собой прием и обработку информации. Это еще раз подчеркивает важность и актуальность науки информатики.

Чем же отличаются данные от информации?

Данные – это информация, представленная в виде, пригодном для обработки автоматическими средствами при возможном участии человека. Например, обработка информации в базе данных (приход, расход денежных средств и др.). Для того чтобы проиллюстрировать отличие данных от информации приведем пример: представим, что вы написали на листе бумаги номера телефонов своих друзей и эти цифры, написанные в строчку, вы передали своему товарищу. Для него этот листочек представляет обычные данные, какие-то цифры. Но когда вы к этим данным приписали имена и фамилии друзей, то эти данные превратились в информацию. Теперь он знает, что это телефоны ваших друзей. Это основное отличие данных от информации. То есть, если появляется возможность использовать какие-либо данные для уменьшения неопределенности о чем-либо, данные превращаются в информацию. Это уменьшение неопределенности опять встречается в определении, оно будет сквозить по всей теоретической части информатики и информации.

Поэтому можно утверждать, что информацией являются используемые данные.

Знания – это информация, на основании которой, путем логических рассуждений, могут быть получены определенные заключения.

То есть знания фактически позволяют нам делать новые выводы, получать новые знания. Здесь тавтология уместна, потому что знания дают новые знания. На основании имеющихся фактов получаем новые факты, потом эти факты переходят в новые знания. Например, на базе собранных данных о работе предприятия принимается решение о дальнейших планах работы. Это элемент, который может проиллюстрировать отличие данных от знаний и то, как они связаны с понятием информации.

Рассмотрим теперь основные свойства информации. Их в целом можно разделить на три категории:

1. атрибутивные свойства (без чего информация не существовать);

2. прагматические (степень полезности информации);

3. динамические (изменение информации во времени);

Рассмотрим более подробно каждое из этих свойств. Прежде всего, приступим к рассмотрению атрибутивных свойств информации. Одно из важных свойств информации это неотрывность информации от носителя. Это означает, что информация приходит к нам (приемнику информации) на каких–либо носителях. И без наличия носителей информация не существует. Например, звуковая информация - посредствам колебания волн и среды, визуальная информация – носителем является также среда и органы зрения, информация, которая изложена на листе бумаги – тоже носитель; приведём пример из области вычислительной техники: носителями могут быть жесткие диски, Flash память, любые другие устройства, на которых эта память располагается.

Другим важным атрибутивным свойством информации является дискретность. Здесь речь идет о том, что содержащиеся в информации сведения и знания дискретны, т.е. характеризуют отдельные фактические данные и закономерности, также свойства изучаемых объектов, которые распространяются в виде различных сообщений, состоящих, например, из линий, букв, символов, знаков и т.д. Все это дискретно, значит, имеет границы и окончания.

С другой стороны, атрибутивным свойством является непрерывность информации. Это говорит о том, что информация имеет свойство сливаться с уже зафиксированной и накопленной ранее, тем самым способствуя поступательному развитию и накоплению.

Рассмотрим прагматические свойства информации, т.е. те свойства, которые позволяют нам говорить о степени полезности информации.

Смысл и новизна – понятно, что если информация не несет смысла и является устаревшей, то она возможно не нужна потребителю, как та информация, которая будет иметь более глубокий смысл и обладать большей новизной.

Полезность – это свойство, которое говорит о количественных характеристиках, которые позволяют уменьшать неопределенность сведений об объекте. Информация является полезной, если она сильно и на много уменьшает неопределенность знаний об объекте. В связи с этим в определении полезности всегда дается понятие – дезинформация. Дезинформация – это отрицательное значение полезности информации, т.е. когда полученные сведения не уменьшают неопределённость сведений об объекте, а наоборот, сведения об объекте становятся еще более нечеткими. Ценность информации говорит о том, что для разных потребителей одна и та же информация может нести различную ценность. Например, для школьника, если мы дадим основы молекулярной физики, ценность информации будет нулевой. А если студент обучающийся на физтехе получит ту же самую информацию, то для него эта информация будет более высокой ценности чем для того же самого школьника.

Кумулятивность – это способность накопления и хранения информации.

Перейдем к динамическим свойствам информации. Здесь очевидно и понятно, что любая информация имеет возможность роста, т.е. она увеличивает определенные знания, растут определенные данные. И так же если в динамике рассматривать информацию – это свойство старения информации. За определенное время та информация, которая была ценна для нас и важна несколько лет назад теряет эти качества и информация устаревает. Поэтому динамические свойства также являются очень важными.

Рассмотрим теперь меры информации. Существует три направления в определении мер: синтаксическая мера, семантическая мера, прагматическая мера.

Более подробно перейдем к рассмотрению синтаксической меры информации. Она оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Таким образом, синтаксическая мера позволяет обратить внимание на представление этой информации с помощью синтаксиса, в каком количественном масштабе эта информация представляется.

Для анализа синтаксических мер вводится два понятия: объем данных и количество информации в синтаксическом смысле I.

Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

- в двоичной системе единица измерения – бит (от английского binary digit-двоичный разряд) – это количество информации, необходимое для различения двух равновесных сообщений;

- в десятичной системе счисления единица измерения – дит (десятичный разряд).

Как правило, информация представляется в двоичном виде, поэтому наиболее широкое распространение получила единица измерения бит. Приведем пример: пусть сообщение в двоичной системе в виде восьмиразрядного двоичного кода 11001011 имеет объем данных V_д =8 бит=1 байт, сообщение в десятичной системе в виде числа 281934 имеет объем V_д=6дит.

В двоичной системе счисления биты объединяются в группы и в зависимости от количества бит появляются более объемные меры информации. В данном случае на экране приведены наиболее широко известные значения для измерения объема данных:

1 байт =2³ бит = 8 бит

1 Килобайт (Кбайт) = 1024 байт = 2¹⁰ байт

1 Мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт

1 Гигабайт (Гбайт)=1024Мбайт =2³⁰ байт

1 Терабайт (Тбайт) = 1024 Гбайт =2⁴⁰ байт

1 Петабайт (Пбайт)=1024 Тбайт = 2⁵⁰ байт

В данном случае мы видим определение величины объема данных, но не менее важная синтаксическая мера информации - это количество информации.

Перейдем к определению этого понятия. Количество информации обозначается буквой «I» – определяет изменение, уменьшение неопределенности состояния системы. И невозможно дать более четкое и более детальное описание и примеры по этому термину без введения понятия информационной энтропии.

Информационная энтропия – это мера «хаотичности», неопределенности информации или состояния некоторой системы.

Приведем пример: получение некоторой информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим этот пример более детально, потому что именно он позволяет понять сущность синтаксической меры информации и энтропии. Пусть у нас имеется некоторая система α, о которой некоторый наблюдатель или получатель информации пытается собрать информацию. Предварительно у этого получателя информации (предположим это человек) имеет некоторые априорные сведения о системе α, полученные экспериментальным путем. Таким образом, априорная мера неосведомленности о системе α обозначается Н(α), т.е. то, что он не знает о системе α. Предположим, получатель информации из другого источника получил сообщение β: дополнительные сведения о системе α: I_β(α). После получения этой информации получатель обладает апостериорной мерой неосведомленности о системе α: Н_β(α). Таким образом, при получении новой информации степень неосведомленности должна уменьшиться (при условии, что полученная информация истина). Итак, дополнительная информация I_β(α) уменьшила меру неосведомленности о системе и на языке формул это выглядит так: Н_β(α)=Н(α)-I_β(α), отсюда мы можем найти то, что собой представляет та информация, которая пришла к источнику, т.е. апостериорная информация, это есть разница между априорной и апостериорной информацией, т.е. мы можем сказать, что количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Это определение говорит о глубинном значении количества информации, и о том какую роль в ней играет энтропия. Дальнейшие исследования в области количества информации дают нам такие результаты: если конечная неопределенность Н_β(α) обратится в нуль, т.е. система α изучена полностью, то первоначальное неполное знание заменится дополнительным знанием и количество информации I_β(α)=Н(α). Иными словами, энтропия системы Н(α) может рассматриваться как мера недостающей информации. Далее были получены формулы для определения энтропии. В наш курс не входит задача вывода этих формул. Исследователь Шеннон вывел формулу, где энтропия системы, имеющая N возможных состояний, согласно его формуле, равна

Н(α)=

Где Р_i- вероятность того, что система находится в i-м состоянии, т.е. представьте себе некоторый объект, который меняет свое состояние с определенной вероятностью. И мы пытаемся изучить состояние этого объекта. В определенный момент времени мы представляем какие-то состояния объекта и у нас есть определенный недостаток этой информации. С помощью этой формулы мы можем получить все данные. Когда система находится в таком состоянии, что все состояния равновероятны (пример простейшей системы – когда подкидываем монетку, и абсолютно равновероятное событие – то ли выпадет орел, толи – решка), то энтропия находится более простой формулой:

Н(α)=

Дальнейшие исследования в этой области позволяют найти взаимосвязь и понять суть того, что иногда в быту проводится аналогия между понятиями количества информации и объемом данных. Эту зависимость вывел Хартли с помощью простых логических заключений. В той или иной системе счисления информация кодируется различными кодами. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения:

N=mⁿ

где N – число возможных отображаемых состояний;

m – основание системы счисления (разнообразие символов, применяемых в алфавите);

n – число разрядов (символов в сообщении).

Рассмотрим такой пример: по каналу связи передается n – разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mⁿ, то при равной вероятности появление любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет

I=log N=n log m – это и есть формула Хартли.

Основание логарифма может быть различным - зависит от задач, но в вычислительной технике, как правило, используется двоичное основание, т.е. двоичный алгоритм. Если в качестве основания логарифма принять m, то I=n, т.е. количество информации(при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=V_д, полученных по каналу связи. Для не равновероятных состояний системы всегда I<(V_д=n). Это логически понятно, т.е. в информации всегда, кроме рассмотренного предыдущего случая, есть избыточность.

Семантическая мера информации. Этот параметр рассматривается на основе понятия тезаурус. Тезаурус – это совокупность сведений, которыми располагает пользователь или система; дословно тезаурус можно понимать, как «словарь терминов». То есть для измерения смыслового (семантического) содержания информации, ее количества на семантическом уровне, часто используется тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать и понимать поступившее сообщение.

Рассмотрим следующий пример: пусть имеются такие параметры:

S – смысловое содержание информации;

S_p – тезаурус пользователя;

I_c – количество семантической информации, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.

Тогда мы можем попытаться построить зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса I_c=f(S_p). Вид этой функции будет следующий – мы с вами видим, что есть две нулевые позиции. Первая – тезаурус почти пуст Sp≈0, при этом пользователь не воспринимает, не понимает поступающую информацию. Вторая – семантическая информация стремится к нулю при тезаурусе, стремящемся к бесконечности – пользователь все знает, и поступающая информация ему не нужна, т.е. количество поступающей информации равно нулю, т.к. пользователь уже практически всеми знаниями обладает. Оптимум будет находиться в точке S_p opt – это максимальное количество семантической информации I_c. Потребитель при согласовании ее смыслового содержания S со своим тезаурусом S_p (S_p=S_p opt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.

Рассмотрим пример измерения единиц информации в различных мерах (синтаксическая, семантическая, прагматическая). Итак, на таблице вы видите три строки, на каждой из строк – своя мера:

Синтаксическая – шенноновский подход, которая говорит о том, что единицы измерения влияют на степень уменьшения неопределенности информации, либо компьютерный подход – это объем данных, которые здесь выражены, как биты, байты и т.д.

Семантическая мера на основе тезауруса и на основе экономических показателей.

Прагматическая мера, говорящая о том, насколько эта информация ценна. Она может измеряться емкостью памяти, производительностью компьютера, скоростью передачи данных и т.д. В денежном выражении, во времени обработки информации и принятия решений. Это основные примеры единиц измерения показателей.

Перейдем к понятию качества информации и рассмотрим основные показатели качества информации. Как любой объект, как любое явление информация обладает качествами. Эти качества рассматривает и анализирует человек. Возьмем обычный стол. Его качествами будут являться: материал, цвет, количество ножек и т.д. Какой бы объект мы не взяли, мы можем найти определенные показатели качества. Информация – тот же самый объект. Здесь более трудно найти какие-нибудь качественные, количественные характеристики, но они существуют.

Рассмотрим показатели качества информации:

1. Репрезентативность – адекватное отражение свойств объекта. Связано с правильностью ее отбора и формирования в целях адекватного отображения свойств объекта. Большое значение здесь имеют – правильность концепции, на базе которого сформулировано исходное понятие; обоснованность отбора существенных признаков; связи отображаемого явления. Нарушение репрезентативности информации приводит к существенным ее погрешностям.

2. Содержательность – важнейшая характеристика, и когда мы изучали семантические свойства информации мы, фактически, рассмотрели основные элементы, связанные с содержательностью, т.е. содержательность непосредственно связана со смысловой нагрузкой информатики. Здесь вводятся такие понятия как коэффициент содержательности: С=I_c/V_д – отношение количества семантической информации к объему данных. С увеличением содержательности информации растет семантическая пропускная способность информационной системы, т.к. для получения одних и тех же сведений требуется преобразовать меньший объем данных. На раду с коэффициентом содержательности используется коэффициент информативности (лаконичности): Y=I/V_д – отношение количества синтаксической информации по шеннону к объему данных. Мы помним граничный случай, когда это отношение будет равно единице, но в остальных случаях это отношение будет меньше одного, т.к. количество информации меньше поступаемого объема.

3. Достаточность или полнота информации означает, что она содержит минимальный, но достаточный для принятия правильного решения состав показателей. Понятие полноты информации связанно с ее смысловым содержанием или семантикой, а так же с прагматикой. Как неполная, т.е. недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений. Мы это знаем на практике: человек перегружен информацией, когда информации слишком много, то решение принять сложно, так же как и в случае нехватки информации.

4. Доступность информации восприятию пользователя обеспечивается наличием процедур получения, преобразования. Например, в информационной системе информация преобразуется в доступную и удобную для восприятия пользователя форму. Это достигается путем согласования семантической формы с тезаурусом пользователя, т.е. именно максимума той кривой, о которой мы говорили ранее.

5. Актуальность информации – определяет степень сохранения ценности информации для управления в момент ее использования. То есть актуальная информация может быть секунды, доли секунд, а может быть часы, дни, недели, месяцы, все зависит от семантической сущности информации.

6. Своевременность – информация поступает не позже заранее оговоренного времени, согласованного со временем решения поставленной задачи. Т.е. своевременность тесно связана с актуальностью. Если информация пришла не своевременно, то она тут же теряет свою актуальность.

7. Точность информации определяет степень близости получаемой информации к реальному состоянию объекта, процесса, явления. Для информации, отображаемой цифровым кодом известны 4 классификационных понятия точности: формальная точность, реальная точность, максимальная и необходимая точность. Эти понятия сопоставимы и влияют на общее интегрированное понятие точности.

8. Достоверность информации определяется ее свойством отражать реальные объекты с необходимой точностью. Измеряется достоверность доверительной вероятностью необходимой точности, т.е. вероятностью того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.

9. Устойчивость – способность информации реагировать на изменение исходных данных без нарушения необходимой точности. Устойчивость информации, как и репрезентативность, обусловлена выбранной методикой ее отбора и формирования.

Дата добавления: 2013-12-13