Предварительная обработка входных сигналов

Обучение слоя Кохонена.

Режим обучения.

Слой Гроссберга.

Слой Кохонена.

Режим функционирования.

Лекция 6. Сеть встречного распространения. Алгоритмы обучения и функционирования слоя Кохонена и слоя Гроссберга. Полная структура сети встречного применения, достоинства, недостатки, области применения.

В своей простейшей форме слой Кохонена функционирует следующим образом: для данного входного вектора один и только один нейрон Кохонена выдает на выходе логическую единицу, все остальные выдают ноль.

Ассоциированное с каждым нейроном Кохонена множество весов соединяет его с каждым входом. Например, на рисунке 17 нейрон Кохонена K1 имеет веса w11,w21,...,wm1, составляющие весовой вектор W1. Они соединяются через входной слой с входными сигналами х1, х2,...,xm, составляющими входной вектор Х. Подобно нейронам большинства сетей, выход NETj каждого нейрона Кохонена является просто суммой взвешенных входов. Это может быть выражено следующим образом:

NETj=w1j x1+w2l x2+...+wmj xm

или NETj=X*Wj

Нейрон Кохонена с максимальным значением NETj является “победителем”. Его выход равен единице, а у остальных он равен нулю.

Слой Гроссберга функционирует в сходной манере. Его выход NET является суммой взвешенных входов k1,k2,....kn слоя Кохонена, образующих вектор K. Вектор соединяющих весов, обозначенный через V1, состоит из весов v11,v21...vnp. Тогда выход каждого нейрона Гроссберга есть

Yj=K*Vj,

Слой Кохонена функционирует таким образом, что лишь у одного нейрона величина NET равна единице, а у остальных - нулю. Поэтому лишь один элемент вектора К отличен от нуля и вычисления очень просты. Фактически каждый нейрон слоя Гроссберга лишь выдает величину веса, который связывает этот нейрон с единственным ненулевым нейроном Кохонена.

Слой Кохонена классифицирует входные векторы в группы схожих. Это достигается с помощью такой подстройки весов Кохонена, что близкие входные векторы активируют один и тот же нейрон данного слоя. Затем задачей слоя Гроссберга является получение требуемых выходов.

Обучение Кохонена является самообучением, протекающим без учителя. Поэтому трудно (и не нужно) предсказывать, какой именно нейрон Кохонена будет активизироваться для данного входного вектора. Необходимо лишь гарантировать, чтобы в результате обучения разделялись несхожие входные векторы.

Весьма желательно (хотя и не обязательно) нормализовать входные векторы перед тем, как предъявлять их сети. Это выполняется с помощью деления каждой компоненты входного вектора на длину вектора. В алгебраической записи

хi’=xi/√(x1²+x2²+...+xn²)

Это превращает входной вектор в единичный вектор того же направления в n- мерном пространстве.

При обучении слоя Кохонена на вход подается входной вектор, и вычисляются его скалярные произведения с векторами весов, связанными со всеми нейронами Кохонена. Вес нейрона с максимальным скалярным произведением выставляется в единицу. Так как скалярное произведение, используемое для вычисления величин NET, является мерой сходства между входным вектором и вектором весов, то процесс обучения состоит в выборе нейрона Кохонена с весовым вектором, наиболее близким к входному вектору, и дальнейшем приближении весового вектора к входному. Сеть самоорганизуется таким образом, что данный нейрон Кохонена имеет максимальный выход для данного входного вектора. Уравнение, описывающее процесс обучения имеет следующий вид:

wн=wc+α (х-wс)

где wн- новое значение веса, соединяющего входную компоненту х с выигравшим нейроном; wc- предыдущее значение этого веса; α - коэффициент скорости обучения, который может изменяться в процессе обучения. Каждый вес, связанный с выигравшим нейроном Кохонена, изменяется пропорционально разности между его величиной и величиной входа, к которому он присоединен, направление изменения минимизирует разность между весом и его выходом. На рисунке 18 этот процесс показан геометрически.

Рис.18. Геометрическая интерпретация процесса обучения слоя Кохонена.

Переменная α является коэффициентом скорости обучения, который в начале равен 0.7, и может постепенно уменьшаться в процессе обучения. Это позволяет делать большие начальные шаги для быстрого грубого обучения и меньшие шаги при подходе к окончательной величине.

Дата добавления: 2014-01-11