Количество информации. Основоположник теории инф-и Клод Шеннон определил инф-ю как снятую неопределенность

Основоположник теории инф-и Клод Шеннон определил инф-ю как снятую неопределенность. Чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой инф-и при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).

Количество инф-и можно в таком случае рассматривать как меру уменьшения неопределенностии (=энтропии) знания при получении информационных сообщений.

Подход к инф-и как мере уменьшения неопределенности знания (=энтропии) позволяет количественно измерять инф-ю.

За единицу количества инф-и принимается такое количество инф-и, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом (BInary digiT). Производной от бита единицей измерения количества инф-и является байт, причем 1 байт = 8 битов.

В компьютере инф-я кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества инф-и используется коэффициент 2ⁿ.

Кратные байту единицы измерения количества инф-и:

1 килобайт (Кбайт) = 2¹⁰ байт = 1024 байт ≈ 10³ байт;

1 мегабайт (Мбайт) = 2²⁰ байт ≈ 10⁶ байт;

1 гигабайт (Гбайт) = 2³⁰ байт ≈ 10⁹ байт.

Для исчисления ещё больших объёмов инфи имеются единицы терабайт (2⁴⁰ байт) и петабайт (2⁵⁰ байт).

При алфавитном подходе к определению количества инф-и информационное сообщение рассм-ют как последовательность знаков определенной знаковой системы.

Формула N = 2^К связывает между собой количество возможных информационных сообщений N и количество бит инф-и К, которое несет полученное сообщение.

Чем большее количество знаков содержит алфавит, тем большее количество инф-и несет один знак. Тогда в рассматриваемой ситуации N — это количество знаков в алфавите знаковой системы, а К — количество бит инф-и, которое несет каждый знак.

Пример: определим количество инф-и, которое несет 1 буква русского алфавита. В русский алфавит входят 33 буквы, но на практике часто для передачи сообщений используются 32 буквы (исключается "ё").

С помощью формулы N = 2^К определим количество инф-и, которое несет буква русского алфавита: N = 32 => 32 = 2^К => 2⁵ = 2^К => К=5 битов.

Таким образом, буква русского алфавита несет 5 битов инф-и.

Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество инф-и. Если знаки несут одинаковое количество инф-и, то количество инф-и Кc в сообщении можно подсчитать, умножив количество инф-и Кзн, которое несет один знак, на длину кода (количество знаков в сообщении) N:

Кc = Кзн × N

Дата добавления: 2014-11-07