Свойства энтропии

ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕОПРЕДЕЛЕННОСТЬ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА

ЛЕКЦИЯ №7

«ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕОПРЕДЕЛЕННОСТЬ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА»

ВРЕМЯ – 2 часа

ЦЕЛИ ЗАНЯТИЯ:

Познакомиться с определением энтропии. Рассмотреть свойства энтропии и возможности ее использования для определения технического состояния диагностирования объектов, определить энтропию объекта с непрерывным пространством состояний.

СОДЕРЖАНИЕ ЗАНЯТИЯ:

ВВОДНАЯ ЧАСТЬ – 5 мин.

УЧЕБНЫЕ ВОПРОСЫ:

1. ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕОПРЕДЕЛЕННОСТЬ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА – 40 мин.

2. СВОЙСТВА ЭНТРОПИИ –20 мин.

3. ЭНТРОПИЯ ОБЪЕКТА С НЕПРЕРЫВНЫМ ПРОСТРАНСТВОМ СОСТОЯНИЙ – 20 мин.

ЗАКЛЮЧЕНИЕ – 5 мин.

Информационная энтропия — это мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо состояния объекта диагностики. Если потеря информации отсутствует, то информационная энтропия численно равна количеству информации на символ передаваемого сообщения. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Реальный объект может находиться в одном из n возможных состояний (e₀, e₁, e₂, … e_i, … e_n) из множества состояний Е. Разные состояния появляются с разной вероятностью Р(e_i). Возникает вопрос, в каком из состояний находится объект в настоящий момент? Т.е. существует неопределенность конкретного состояния объекта в конкретный момент времени.

Разная вероятность состояния объекта означает, что в одних состояниях объект может находиться чаще, чем в других. Например, если в работоспособном состоянии e₀ объект может находиться чаще, чем в неработоспособном состоянии e_i, то неопределенность состояний объекта уменьшается. Если предположить, что вероятность нахождения объекта в неработоспособном состоянии Р(e_i) стремится к 0, то в этом случае неопределенность состояния объекта также стремится к 0.

Если одно из возможных состояний объекта e₀ (работоспособное состояние), обязательно реализуется с некоторой вероятностью Р(e₀), а два состояния (работоспособное и неработоспособное) одновременно невозможны, то имеется полная группа событий с вероятностью реализации, равной 1:

(e_i) = 1.

Для обеспечения возможности измерения информации она должна соответствовать определенным требованиям:

1. Мера информации о состоянии объекта должна быть непрерывной - изменение значения величины вероятности состояния объекта на малую величину должно вызывать малое изменение неопределенности о его состоянии;

2. В случае, когда все технические состояния объекта равновероятны, увеличение количества вариантов возможных состояний должно всегда увеличивать значение неопределенности информации;

3. Значение энтропии конечного результата оценки состояния объекта должно являться суммой энтропий промежуточных результатов оценок его состояния.

В соответствии с данными требованиями функция энтропии Н(Е) должна удовлетворять условиям:

Н(Е) определена и непрерывна для всех состояний (e₀, e₁, e₂, … e_i, … e_n) Е, где i = 1, … n и (e_i) = 1.

Эта функция зависит только от распределения вероятностей состояний.

Информационная двоичная энтропия для независимых случайных событий e_i с n возможными состояниями рассчитывается по формуле:

H(E) = - (e_i) log₂ P(e_i).

Таким образом, энтропия (неопределенность) технического состояния объекта H(E) является суммой с противоположным знаком всех произведений вероятностей появления его состояний события P(e_i), умноженных на двоичные логарифмы вероятностей этих состояний.

Знак «минус» в формуле появился из-за того, что вероятность P(e_i) всегда меньше единицы и логарифм от неё отрицателен. Наличие знака «минус» не означает, что информация отрицательна.

Величина H(E) также называется средней энтропией сообщения о состоянии объекта.

Величина log₂1/P(e_i) называется частной энтропией, характеризующей только i -e состояние объекта.

Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Логарифм по основанию 2 называется двоичным: log₂8 = 3 → 2³=8; log₂10 =3,32 → 2^3,32 =10.

Логарифм по основанию 10 называется десятичным: log₁₀100 =2 → 10²=100.

Для простоты вычислений выражение для определения энтропии можно преобразовать к виду:

H(E) = - (e_i) log₂ P(e_i) = - (e_i) log₁₀ P(e_i)/ log₁₀ 2 = - (e_i) log₁₀ P(e_i)/0,301.

Рассмотрим объект, имеющий два возможных состояния – работоспособное e₀ и отказ e₁.. Предположим, что эти состояния равновероятны, т.е. можно записать:

P(e₀) = P(e₁) = 0,5.

Энтропия состояния такого объекта определится как:

H( 2 ) = - (e_i)·log₁₀P(e_i)/ 0,301 = -0, 5 log₁₀ 0,5 / 0,301 - 0,5 log₁₀ 0,5/0,301 = log₁₀ 0,5/0,301 = 0,301/0,301 = 1.

Мерой двоичной энтропии состояния объекта является 1 бит. Бит (bit, от binary - двоичный digit – знак), двоичная единица, в теории информации единица количества информации. Получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов состояний объекта. 1 Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).

Рассмотрим случай, когда объект также может находиться в двух состояниях, но одно из этих состояний наиболее вероятно. Например, вероятность работоспособного состояния объекта P(e₀) = 0,9999. Тогда вероятность отказа объекта составит P(e_i) = 1 - 0,9999= 0,0001. Определим энтропию состояний объекта в этом случае:

H( 2 ) = (e_i)·log₁₀P(e_i)/0,301 = -0,9999 log₁₀ 0,9999/0,301 - 0,0001 log₁₀ 0,0001/0,301 = 0,9999·0,000043/0,301 + 0,0001·4/0,301 = 0,00014 + 0,0013 = 0,00147.

В первом случае энтропия состояния объекта составила 1 бит, а во втором случае 0,00147 бит. Во втором случае вероятность одного из возможных состояний была на много больше вероятности другого состояния. В результате неопределенность состояния, т.е. его энтропия в этом случае практически отсутствует. Рассмотрение данных примеров позволяет сделать важный вывод - энтропия состояния объекта максимальна, если эти состояния равновероятны.

Если состояния объекта равновероятны, то выражение для определения энтропии упрощается и принимает вид:

H(n) =- (e_i) log₂ P(e_i) = - log₂ (1/n) = log₂(n) = - log₁₀(1/n) / 0,301 = log₁₀n/ 0,301.

Если n = 2, то H( 2 ) = log₁₀ 2 / 0,301 = 1бит.

Определим энтропию состояния объекта с тремя возможными равновероятными состояниями:

H( 3 ) = log₁₀ 3 / 0,301 = 0,477/0,301 = 1,585 бит.

Определим энтропию состояния объекта с четырьмя возможными равновероятными состояниями:

H( 4 ) = log₁₀ 4 / 0,301 = 0,602/0,301 = 2 бит.

Определим энтропию состояния объекта с пятью возможными равновероятными состояниями:

H( 10 ) = log₁₀ 10 / 0,301 = 1/0,301 = 3,32 бит.

Для того, чтобы энтропия состоянии объекта изменялось всегда от 0 (отсутствие неопределенности) до 1 (наибольшая неопределенность), применяются различные единицы измерения. От количества возможных равновероятных состояний объекта n зависит единица измерения количества информации и энтропии: 1 бит, 1 трит, 1 тетрит … 1 дит и т.д.:

- 1 бит – для случая двух возможных равновероятных состояний;

- 1трит – для случая трех возможных равновероятных состояний;

- 1тетрит– для случая четырех возможных равновероятных состояний;

- 1 дит – для случая десяти возможных равновероятных состояний.

Каждой единице измерения соответствует свое основание логарифма. От основания логарифма зависит числовая величина единицы измерения количества информации и энтропии:

- 1 бит: H( 2 ) = log₂ (2) = log₁₀ 2 / 0301 = 1 бит;

- 1трит = 1,585 бит: H( 3 ) = log₃ (3) = log₁₀ (3) / 0,301 = 1 трит;

- 1тетрит = 2 бит: H( 4 ) = log₄ (4) = log₁₀ (4) / 0,301= 1 тетрит;

- 1 дит = 3,32 бит: H( 10 ) = log₁₀ (10) = log₁₀ (10) / 0,301 = 1 дит.

Иногда применяется единица измерения информации 1 нат. 1 нат определяется через натуральный логарифм. 1 нат = log₂e ≈ 1,443 бит.

Если известна энтропия состояния объекта H(n), то обратной задачей является определение возможного числа равновероятных состояний n. В этом случае используется формула Хартли:

n = 2 ^H(n).

Например H(n) = 2. Тогда n = 2 ^H(n) = 4. Объект может иметь 4 равновероятных состояния.

Энтропия технического состояния объекта имеет следующие основные свойства:

1. Энтропия не отрицательна:

H(E) ≥ 0.

2. Если вероятность нахождения объекта в каком либо состоянии P(e_i) = 1, то энтропия такого состояния равна 0:

H(E) = 0 при P(e_i) = 1.

3. Энтропия объекта максимальна, когда его состояния равновероятны. Если объект может находиться в равновероятных состояниях, то:

H(n) = log₂ (n) = log₁₀(n)/ 0,301.

Дата добавления: 2014-01-15