Лекция 17 10.05.12

Нейронные сети встречного распространения.

(CPN-сети).

Объединяя разнотипные нейронные структуры в единую архитектуру, можно получить нейронную сеть, обладающую свойствами, которых нет у них по отдельности. Нейронная сеть встречного распространения соединяет в себе свойства самоорганизующейся сети Кохонена, и концепцию Outstar-сети Гроссберга.

В рамках этой архитектуры, элементы слоя сет Кохонена не имеют прямого выхода во внешнюю среду. Они служат входами для выходного слоя, в котором связям адаптивно придаются веса Гроссберга.

Архитектура CPN – сети

рис 2

CPN-сеть, осуществляет постепенное построение искомого отображения, входного вектора в выходной вектор, на основе примеров действия такого отображения. Данная нейронная сеть хорошо решает задачи, в которых нужна способность адаптивного формирования математического отображения, по его точным значениям в отдельных точках.

Характеристики CPN – сетей существенно превосходят возможности сетей с одним скрытым слоем нейронов.

Например:

Время обучения CPN – сетей задачам кластеризации и распознавания образов, более чем в 100 раз меньше времени обучения аналогичным задачам сетей с обратным распространением ошибки.

Важной характеристикой CPN – сетей является её хорошая способность к обобщению. Это даёт возможность получать правильный выход, даже при зашумлённом или неполном входном векторе.

По этому данная сеть может эффективно использоваться для распознавания образов, восстановления образов (ассоциативная память) и для усиления сигнала.

CPN – сети успешно применяются также в экономических и финансовых приложениях.

Например, при рассмотрении заявок на предоставления займов; предсказание трендов цен акций, товаров и курсов обмена валют.

В процессе обучения CPN =- сети входные векторы ассоциируется с соответствующими выходными векторами, которые могут быть двоичными (0 или 1) или непрерывными (от 0 до 1).

После обучения нейросети формируются выходные сигналы, которые соответствуют входным сигналам. CPN – сеть имеет 2 слоя с последовательными связями:

1 слой – слой Кохонена

2 слой – слой Гроссберга.

Каждый элемент входного сигнала подаётся на все нейроны слоя Кохонена. Каждый нейрон слоя Кохонена, соединён со всеми нейронами слоя Гроссберга.

Отличие CPN – сети от других многослойных сетей с последовательными связями, состоит в операциях выполняемых нейронами Кохонена и Гроссберга

Функционирование CPN – сети.

В режиме функционирования нейронной сети предъявляется входной сигнал и формируется выходной сигнал вектор

Рассмотрим послойное функционирование CPN – сети.

1. Слой Кохонена.

В простейшей форме слой Кохонена функционирует по правилу, «победитель забирает всё».

Для определённого входного вектора, только один нейрон Кохонена выдаёт логическую единицу, все остальные нейроны выдают 0, то есть слой Кохонена работает в режиме аккредитации. При этом выход каждого нейрона Кохонена является суммой взвешенных элементов входных сигналов.

где, выход j – го нейрона Кохонена;

- вектор синоптических весов j – го нейрона Кохонена.

Нейрон Кохонена с максимальным значением - является нейроном победителем.

Его выход = 1, у остальных нейронов он = 0

1. Слой Гроссберга

Слой Гроссберга предназначен для совместной работы со слоем, дающим единственную единицу на выходе (Слой Кохонена, работающий в режиме аккредитации) или такой набор выходов, что их сумма = 1(слой Кохонена с функцией SoftMax, функционирующие в режиме интерполяции).

Выход слоя Гроссберга является взвешенной суммой выходов слоя Кохонена, то есть он является слоем нейронов с линейными активационными функциями.

где верхний индекс «2» означает слой Гроссберга.

Когда слой Кохонена функционирует так, что лишь один выход = 1, а остальные = 0, то есть имеем

тогда каждый нейрон слоя Гроссберга выдаёт величину синоптического веса, связывающего этот нейрон с единственным нейроном Кохонена, выход которого отличен от 0

Если слой Гроссберга состоит из единственного нейрона, то получающийся скалярный выход равен одному из весов, соответствующих соединениям этого элемента.

Обучение CPN – сети состоит из 2 процессов адаптации:

Этап 1 – процесс самостоятельной адаптации;

Этап 2 – процесс не самостоятельной адаптации.

На Этапе 1 происходит обучение слоя Кохонена. Слой Кохонена классифицирует входные векторы в группы схожих векторов. Это достигается путём такой настройки весовых коэффициентов, что близкие входные векторы, активирую один и тот же нейрон слоя Кохонена. Данный процесс называется, процесс самостоятельной адаптации – слой Кохонена обучается без учителя. В результате самообучения, слой Кохонена способен разделять несхожие входные векторы.

Этап 2 начинается после того, как произошло обучение слоя Кохонена. Выходы слоя Кохонена подаются на входы слоя Гроссберга. Нейрон типа OutStar (оутстар) Гроссберга,

согласовывает веса выходящих из нейрона связей, с узлами в которых формируются значения выходных сигналов. Как правило, Outstar – это линейный нейрон. Обучение представляет собой такой подбор весов, чтобы выходные сигналы (оутстара), были ровны ожидаемым значениям взаимодействующих с ним нейронов. Обучение оутстара проводится по правилу Гроссберга:

где (этто) – коэффициент обучения.

- выходной сигнал нейрона «i», который выступает в роле источника.

При обучении выходного слоя Гроссберга, выполняется настройка его весов следующим образом:

Каждый вес корректируется лишь в том случае, если он соединён с нейроном Кохонена, имеющий не нулевой выход.

Слой Кохонена

Слой Гроссберга

Функционирование нейронов Гроссберга, при работе CPN – сети, в режиме аккредитации. (Активирован 3 нейрон слоя Кохонена, показаны только не нулевые выходы)

Величина коррекции веса пропорциональна разности между весом и требуемым выходом нейрона Гроссберга. Следовательно, 2 адаптационный процесс является несамостоятельным.

Обучение слоя Гроссберга, это обучение с учителем. Чтобы обучить CPN – сеть нужно обучающее множество, которое содержит пары векторов.

Особенность CPN- сети заключается в том, что оба вектора подаются и на вход, и снимаются с выхода сети. Если на вход сети подаются оба вектора, и на выходе будут получены тоже 2 вектора, то такая операция является бесполезной.

Однако, когда на вход нейронной сети подаётся только один вектор или, а то CPN- сеть восстанавливает 2 вектор по правилу, которое изучено сетью на обучающем множестве. Таким образом, сеть встречного распространения имеет возможность получать выходные сигналы по входным и наоборот. Этим двум действиям соответствуют прямое и обратное распространение сигналов. Это важное свойство CPN – сети.

Дата добавления: 2014-01-11