Комбинированные НС

Комбинированные нейронные сети объединяют возможности разных типов НС.

Одной из наиболее популярных комбинированных сетей, использующихся на практике, является сеть встречного распространения CPN (Counter Propagation Network), первым слоем которой является сеть Кохонена, вторым – сеть Гроссберга.

Сеть CPN была предложена Р. Хехт-Нильсеном в 1987 году.

Слой Гроссберга представляет собой конфигурацию входных и выходных звёзд Гроссберга.

Нейрон в форме входной звезды имеет n входов, которым соответствуют весовые коэффициенты W =, и один выход Y, являющийся взвешенной суммой входов. Входная звезда обучается выдавать сигнал на выходе всякий раз, когда на входы поступает определенный вектор.

Подстройка весовых коэффициентов проводится по следующей формуле:

,

где – весовой вектор i -той входной звезды на t -м такте обучения; – входной вектор; μ – скорость обучения. μ имеет начальное значение в пределах 0,1…0,2 и постепенно уменьшается в процессе обучения.

Выходная звезда Гроссберга выполняет противоположную функцию – при поступлении сигнала на вход выдается определенный вектор. Нейрон этого типа имеет один вход и m выходов с весами W =, которые подстраиваются в соответствии с формулой:

,

где – весовой вектор i -той выходной звезды на t -м такте обучения; – выходной вектор; α – скорость обучения. Рекомендуется начать обучение со значения α в пределах единицы, постепенно уменьшая до значений, близких к нулю.

Обучение CPN состоит из двух фаз:

1. Обучение слоя Кохонена.

Используется конкурентное обучение с выявлением нейрона победителя на каждом шаге обучения. В качестве метрики используется евклидово расстояние: .

Выходное значение нейронов в слое Кохонена:

.

1. Обучение слоя Гроссберга.

Осуществляется обучение с учителем. Функция активации нейронов в слое Гроссберга является линейной.

Выходное значение нейронов в слое Гроссбнрга:

, где m – число выходных нейронов.

– весовые коэффициенты связи выходного нейрона слоя Кохонена и i -того входа нейрона слоя Гроссберга. Таким образом, сеть CPN каждому i -тому кластеру промежуточного слоя ставит в соответствии весовой коэффициент . Это может быть использовано для выполнения с помощью НС аппроксимации функции.

Пример.

Карта Кохонена (плоскость xy) соответствует разбиению входного пространства на кластеры. Тогда аппроксимации функции будет соответствовать высота z: . Для реализации нелинейной аппроксимации функции в качестве функции активации нейронов выходного слоя необходимо брать нелинейную функцию (например, сигмоидальную).

Алгоритм обучения:

Для обучения нейронов слоя Кохонена используется конкурентное обучение:

, где k – номер нейрона победителя; i – номер входного вектора.

Для выходного слоя используется алгоритм обучения с учителем:

Необходимо найти оптимальные весовые коэффициенты связи выходного нейрона слоя Кохонена и i -того входа нейрона слоя Гроссберга так, чтобы сеть наилучшим образом аппроксимировала воспроизводимую функцию . Для этого используется алгоритм BP и минимизируется ошибка обучения методом наименьших квадратов:

, где α – скорость обучения: ; – эталонное значение функции для данного входного вектора.

Ошибка обучения вычисляется не для одного вектора, а для ряда векторов, которые входят в кластер, соответствующий определенному нейрону.

Алгоритм обучения сводится к следующей последовательности действий:

1. Инициализируем весовые коэффициенты сети случайными числами из интервала .
2. (t – номер итерации).
3. Для каждого входного вектора :

1) вычисляем норму вектора ;

2) определяем нейрон победитель ;

3) модифицируем весовые коэффициенты нейрона победителя (возможно с учётом эффекта латерального торможения):

4) модифицируем весовые коэффициенты k -того нейрона последнего слоя с учётом эталонного значения функции в соответствии с алгоритмом BP:

.

4. , и переходим к п. 3. Останов, если выполнено заданное число итераций.

Иерархический классификатор

Иерархический классификатор разбивает процесс решения задачи на отдельные этапы. Данный подход позволяет упростить решаемую задачу.

Пример.

Количество сетей Хемминга равно числу классов, при этом выходным сигналом каждого нейрона слоя Кохонена является позиционный код, определяющий номер класса, к которому следует отнести входной образ. Если окажется, что входной образ не ассоциируется ни с одним из существующих классов, то для него может быть выделен новый класс.

Алгоритм обучения и функционирования состоит из двух этапов:

1 этап. Конкурентное обучение и модификация весовых коэффициентов сети Кохонена.

,

где входной сигнал; весовой коэффициент j -того нейрона; скорость обучения.

2 этап. Обучение сети Хемминга.

Процесс обучения закончится, когда сеть придет в стабильное состояние.

1. Подается входной вектор .
2. Вычисляется норма вектора: , где X – входной вектор, W_ij – весовой коэффициент связи i -того нейрона с j -той компонентой входного вектора.
3. Определяется номер нейрона победителя: .
4. В соответствии с определенным номером k возбуждается одна из сетей Хемминга, на эту сеть подается входной образ.
5. Производится итерационная процедура схождения сети Хемминга до тех пор, пока на одном из входов не появится «1», а на других – «0».

Замечание. Процедуры обучения и функционирования сети могут производится параллельно. Для этого вводится коэффициент бдительности ρ, который характеризует допустимую степень отклонения входного образа от образов, хранящихся в сети. Для каждого входного образа вычисляется расстояние , которое характеризует отличие входного образа от образа, хранимого данной сетью Хемминга. Если , то создаётся новый класс, в противном случае, производится обучение сети.

Дата добавления: 2014-01-15