По определению байесовского решающего правила получаем, что 1 страница

.

Из доказанной теоремы следует, что байесовская классификация с использованием расширенного набора признаков не увеличивает вероятность ошибки, соответствующей исходному набору. С другой стороны, расширение набора признаков не всегда приводит к желаемому снижению вероятности ошибки, достигнутой для исходного набора. В таких случаях добавленные признаки естественно назвать бесполезными, а их выбор признать неудачным. Проиллюстрируем сказанное на следующем примере.

Рассмотрим классификацию пикселей на два класса и . Пусть - размерность признакового пространства, и - априорные вероятности, а и - непрерывные плотности распределений признаков классов. Из теоремы Байеса [39, с. 27] следует, что решающее правило , определенное равенством

= , ,

является байесовским (имеет наименьшую вероятность ошибки).

Пусть - непрерывная плотность вероятностей в . Очевидно, что отображения и так же будут плотностями вероятностей, но уже в . В соответствии с введенным выше определением, их можно рассматривать в качестве плотностей распределений расширенных наборов признаков тех же классов и . Если - байесовское решающее правило в признаковом пространстве , то оно разбивает на две части и , определяемые равенствами

= =

, .

Из этого следует, что

= =

= .

Что и требовалось доказать.

Полученный результат допускает естественную интерпретацию в случае, когда в качестве признаков используются энергетические яркости, зарегистрированные в различных спектральных зонах оптического диапазона, включая зону [0.38;0.78] мкм. Известно, что в этой спектральной зоне, называемой часто видимой, при обычных температурах собственное излучение тел, практически, отсутствует. Поэтому при съемке без освещения (например, в темное время суток) изображением сцены в этой спектральной зоне будет набор случайных яркостей, обусловленных собственными шумами оптико-электронной системы. Очевидно, что никакой информации о сцене такое изображение не содержит.

С другой стороны, пусть для классификации пикселей на два класса используется единственный признак. Предположим, что в каждом классе он имеет нормальное распределение с параметрами () и () соответственно. Показано (см., например, [39]), что при одинаковых априорных вероятностях классов вероятность байесовской ошибки принимает вид

= .

Очевидно, что она убывает с ростом отношения сигнал/шум

= .

Поэтому будет использоваться далее для оценки качества (информативности) изображения даже в тех случаях, когда предположения о равенстве априорных вероятностей и нормальном виде распределений классов не выполняются.

Пусть теперь для классификации на два класса используется набор из независимых признаков. Предположим, что в -ом классе, , признаки имеют многомерное нормальное распределение с вектором средних значений и матрицей ковариаций вида при и . Определим для каждого признака отношение сигнал/шум равенством

= , .

Показано [39], что при одинаковых априорных вероятностях классов вероятность байесовской ошибки принимает вид

= .

Очевидно, что с увеличением вероятность ошибки классификации убывает.

В частном случае, если в каждом классе признаки имеют одно и то же нормальное распределение с параметрами , и , , то вероятность ошибки принимает вид

= .

Из него следует, что для снижения вероятности ошибки классификации существует два способа. В самом деле, увеличение в раз количества спектральных зон (скалярных компонент) дает такой же эффект, что и применение единственного признака, параметры () которого удовлетворяют равенству

.

Следует иметь в виду, что для измерения (регистрации) нового признака может потребоваться разработка технических средств, использующих принципиаль­но иные физические принципы.

Довольно часто для снижения вероятности ошибки классификации возникает сооблазн в замене имеющегося набора из признаков другим набором, состоящим из такого же количества признаков. В приводимом ниже утверждении формулируются условия, при выполнении которых вероятность ошибки классификации с применением нового набора остается прежней.

Теорема 3.2.2. Пусть - некоторый набор признаков, а - взаимно однозначное отображение вида , задава­емое гладкими отображениями . Тогда суперпозиция также является набором признаков. Более того, если и - байесовские решающие правила для и соответственно, то ­= .

Следствие. Если и - константы, то из доказанной теоремы следует, что признаки и имеют одну и ту же байесовскую вероятность ошибки.

3.3 Объединение классов

Пусть - конечное множество индексов, содержащее не менее трех элементов, - множество объектов, - его разбиение на клас­сов, которое будет называться далее исходным. Объединяя некоторые из классов исходного разбиения, можно получить другое разбиение, состоящее из меньшего числа классов. Это разбиение естественно назвать более грубым по сравнению с исходным. Рассмотрим вопрос о вероятностях ошибок классификации, соответствующих исходному и полученному из него более грубому разбиению.

Пусть - множество индексов такое, что , и пусть - разбиение исходного множества индексов на подмножеств. Для каждого построим множество следующим образом

.

Из определения семейства следует, что оно является разбиением на классы более грубым, чем исходное разбиение .

Если - решающее правило классификации объектов на классов, то из его определения следует, что

=

и что

, , а .

Определим для каждого подмножество при помощи равенства

.

По построению, - разбиение на . Поэтому отображение , определяемое равенством

,

является решающим правилом для классификации объектов на новых классов . В связи с этим будем говорить, что правило порождает более грубое правило . Можно доказать следующий результат [51-52].

Теорема 3.3.1. Пусть - решающее правило, порожденное решающим правилом . Если и - соответствующие им вероятности ошибок классификации, то .

Лемма 3.3.2. Для того, чтобы отображение было случайной величиной на , необходимо и достаточно, чтобы каждое сужение , , было случайной величиной на соответствующем измеримом подпространстве .

Лемма 3.3.3. Для любого решающего правила подмножество объектов из , классифицируемых с ошибкой, является событием из и имеет вероятность

= .

3.4 Свойства пятен на локально однородных сценах

Пусть - локально однородная сцена, а - ее изображение. Покажем, что для такой сцены имеет место следующий результат.

Теорема 3.4.1. Пусть - зона интереса на локально однородной сцене, содержащая светлое пятно и его фон . Пусть и - средние значения объекта и фона, а - изображение квадрата. Если и , , - попарно не пересекающиеся квадратные окрестности, состоящие из точек каждая, а

и , ,

то при любом фиксированном

при .

Замечание 1. Из предложенного доказательства не следу­ет, что сходимость является рав­номерной по .

Замечание 2. В доказательстве теоремы используется предельный переход при стремлении к бесконечности числа пикселей окрестности или, что эквивалентно, ее радиуса . По условиям Теоремы окрестность должна принадлежать конечному множеству (проекции) , а окрестности , , - конечному множеству . Поэтому предельный переход в этих условиях является, строго говоря, незаконной операцией. Однако ситуацию легко исправить, если заменить изображения и , , окрестностей на стационарные случайные последовательности и со средними значениями и , для которых выполняются условия Теоремы Слуцкого, и определить и при помощи равенств

и , .

При решении прикладных задач вместо пределов используются их приближенные значения и , . Они являются суммами конечного числа слагаемых и вычисляются по и , , при конечном радиусе . Поэтому и далее при формулировке и доказательстве теорем, аналогичных Теореме 3.4.1, для наглядности будут использоваться окрестности, состоящие из конечного числа пикселей, а не последовательности.

Доказанная теорема указывает на важное свойство (признак) пикселей, образующих пятно . В самом деле, при достаточно больших значениях практически для всех изображений зоны интереса, содержащей светлое пятно, должны одновременно выполняться неравенства , . Посмотрим, в какой степени это свойство зоны интереса характерно для квадрата , образованного пикселями фона. Он не является зоной интереса. Предварительно докажем следующий результат.

Теорема 3.4.2. Пусть - натуральное число, а и , , - независимые в совокупности и одинаково распределенные дискретные слу­чайные величины со значениями из множества , сред­ним значением и среднеквадратичным отклонением . Тогда

= = при .

Для сравнения приближенные значения для нормально распределенных случайных величин и , , рассчитанные методом Монте-Карло для =1,…,30, приведены в таблице 3.1. Из приведенных

Таблица 3.1 - Значения вероятности для случайных величин с нормальным законом распределения

	0.495	0.336	0.260	0.194	0.168	0.146	0.129	0.108	0.099	0.089
	0.083	0.078	0.071	0.064	0.063	0.058	0.055	0.052	0.047	0.048
	0.046	0.043	0.041	0.041	0.038	0.037	0.035	0.035	0.033	0.032

данных следует, что при увеличении от 1 до 10 вероятность убывает более, чем в 5 раз. При дальнейшем увеличении скорость убывания заметно замедляется.

В 2.3 показано, что сцена , полученная скользящим суммированием по квадратной окрестности с радиусом , из сцены , состоящей из независимых в совокупности случайных величин с одним и тем

же распределением, является однородной. Для таких сцен имеет место следующий результат.

Теорема 3.4.3. Пусть - квадрат на сцене, полученной скользящим суммированием по квадратной окрестности с радиусом , и пусть - его изображение. Если и , , - попарно не пересекающиеся квадратные окрестности из , , а и определяются равенствами

Дата добавления: 2015-05-09