Основные понятия теории информации и теории кодирования. Кодирование информации. Первая и вторая теорема Шеннона. Системы счисления

Изучением информатики как таковой (т.е. в виде абстрактного объекта, лишенного конкретного содержания), выявлением общих свойств информации, законов, управляющих ее рождением, развитием и уничтожением, занимается теория информации. Информацию, которая где-то содержится, например, в сообщении, можно рассматривать с различных точек зрения, например, насколько она новая или неожиданная. Теория информации – это одно направление научных исследований, вторым направлением является теория кодирования. Теория кодирования занимается изучением форм, в которые может быть преобразовано содержание любой конкретной информационной единицы (передаваемого сообщения, гранулы знаний и т.п.) Часто эти два направления объединяют в теорию связи. Теория связи – это изучение систем связи с использованием математических моделей их функционирования.

Информация, полученная в виде сообщения может быть передана и представлена в любом виде (набор символов, звук, изображение и т.д.). Т.к. компьютер производит внутреннюю обработку информации представленную только в числовой форме, сначала полученная информация должна быть преобразована. Информацию кодируют, т.е. каждому символу, точке, звуку, знаку ставится в соответствие определенная, в данном случае числовая, последовательность.

КОДИРОВАНИЕ – это процесс представления информации в определенной форме с помощью некоторого алфавита. Математически этот процесс описывается отображением произвольного множества в множество конечных последовательностей (слов) некоторого алфавита. Дискретная информация записывается с помощью некоторого конечного набора знаков, которые условно называются буквами. Буква в данном расширенном понимании – это любой из знаков, которые некоторым соглашением установлены для общения. Эти знаки составляют алфавит кода. КОД – это конечное или счетное множество слов в некотором алфавите, который используется для представления информации.

Правило преобразования информации из одной символической формы представления (исходного алфавита) в другую (объектный алфавит) желательно (обычно) без каких-либо потерь информации также является кодированием. Процесс преобразования исходного алфавита в объектный называется кодированием, обратный процесс называется декодированием.

Передача информации подразумевает, что имеется «источник информации» и «получатель информации». Информация от источника к получателю передается посредством какой-нибудь среды, являющейся в таком случае «каналом связи». КАНАЛ СВЯЗИ – это путь, по которому передается информация, он может быть физическим или виртуальным.

Дата добавления: 2015-04-24