Імовірнісний підхід до визначення кількості інформації

Кодування інформації

З метою засекречування інформації застосовується її кодування. З незапам'ятних часів з'явилися коди у вигляді криптограм (по-гречески — тайнопис).

Найперший код пов'язаний з ім'ям винахідника телеграфного апарата Сэмюэля Морзе й відома як абетка Морзе. Кожній букві або цифрі в абетці Морзе відповідає своя послідовність із короткочасних (називаними крапками) і тривалих (тире) сигналів, поділюваних паузами.

Способи кодування інформації наступні: символьний, лінгвістичний, табличний, графічний. Будь-який спосіб кодування характеризується наявністю основи (алфавіт, тезаурус, спектр кольоровості, система координат, підстава системи числення й т.п.) і правил конструювання інформаційних образів на цій основі.

Коди, що використовують два різних елементарних сигнали, називаються двійковими. Якщо відволіктися від фізичної природи сигналів, зручно позначати їхніми символами 0 і 1. Тоді кодові слова можна представляти як послідовність із нулів і одиниць.

Існує багато кодів: двійковий код обміну інформації ДКОИ, восьмеричний код обміну інформацією КОИ-8, у сучасних персональних комп'ютерах інформація представляється в коді ASCII (American Standard Code for Information Interchange) - американський стандартний код для обміну інформацією. У Росії використовується так звана альтернативна ASCII кодування, що містить символи російського алфавіту.

При введенні інформації в комп'ютер кожний символ-буква російського або латинського алфавіту, цифра, знак пунктуації або дії кодується певною послідовністю з восьми двійкових цифр відповідно до таблиці кодування. Комбінація з 8 біт називається байтом, або складом.

В останні роки XX сторіччя вчені вирішили додати слову «інформація» імовірнісне значення: «міра визначеності в повідомленні».

Теорія інформації була викликана потребою в ній практики. Її виникнення зв'язують із роботою Клода Шеннона «Математична теорія зв'язку», виданої § 1946 р. У другій половині XX в. земна куля «гудів* від інформації, що передається, що біжить по телефонним я телеграфним кабелям і радіоканалам. Пізніше з'явилися електронні обчислювальні машини — оброблювачі інформації. Раніше основним завданням теорії інформації було підвищення ефективності функціонування систем зв'язку. Складність при проектуванні а експлуатації засобів, систем і каналів зв'язку в тім, що конструкторові й інженерові недостатньо вирішити завдання з фізичних і енергетичних позицій. Важливо при створенні передавальних систем знати, яке кількість інформації пройде через цю передавальну систему.

Оцінка кількості інформації ґрунтується на законах теорії ймовірностей, точніше, визначається через імовірності подій.

Повідомлення про подію, у якої тільки два однаково можливих результати, містить одну одиницю інформації, називану бітом. Вибір одиниці інформації не випадковий. Він пов'язаний з найпоширенішим двійковим способом її кодування при передачі й обробці.

Дата добавления: 2014-12-07