Обучение слоя Гроссберга

Выбор начальных значений весовых векторов.

Всем весам сети перед началом обучения следует придать начальные значения. Общепринятой практикой является присваивание весам небольших случайных значений. Однако рандомизация весов может породить некоторые проблемы при обучении. Наиболее желательное решение – распределение весовых векторов в соответствии с плотностью входных векторов.

Один из таких методов задания начальных значений носит название метода выпуклой комбинации. Он состоит в том, что все веса приравниваются одной и той же величине 1/(n)^1/2, где n- число входов и, следовательно, число компонент каждого вектора. Благодаря этому все весовые векторы совпадают и имеют единичную длину. Каждой же компоненте входа Х придается значение α xi+{[1/(n)^1/2](1- α)}, где n- число входов. Вначале α очень мало, вследствие чего все входные векторы имеют длину, близкую к 1/(n)^1/2, и почти совпадают с векторами весов. В процессе обучения сети α постепенно возрастает, приближаясь к единице. Это позволяет разделять входные векторы и окончательно приписывать им истинные значения. Весовые векторы отслеживают один или небольшую группу входных векторов и в конце обучения дают требуемую картину выходов. Метод выпуклой комбинации хорошо работает, но замедляет процесс обучения, так как весовые векторы подстраиваются к изменяющейся цели.

Третий метод начинает со случайных весов, но на начальной стадии обучающего процесса подстраивает все веса, а не только связанные с выигравшим нейроном Кохонена. Тем самым весовые векторы перемещаются ближе к области входных векторов. В процессе обучения коррекция весов начинает производиться лишь для ближайших к победителю нейронов Кохонена. Этот радиус коррекции постепенно уменьшается, так что в конце концов корректируются только веса, связанные только с выигравшим нейроном Кохонена.

Еще один метод наделяет каждый нейрон Кохонена “чувством справедливости”. Если он становится победителем чаще своей законной доли времени (примерно 1/k, где k- число нейронов Кохонена), он временно увеличивает свой порог, что уменьшает его шансы на выигрыш, давая тем самым возможность обучиться другим нейронам.

Слой Гроссберга обучается сравнительно просто. Входной вектор, являющийся выходом слоя Кохонена, подается на слой нейронов Гроссберга, и выходы слоя Гроссберга вычисляются, как при нормальном функционировании. Далее, каждый вес корректируется лишь в том случае, если он соединен с нейроном Кохонена, имеющим ненулевой выход. Величина коррекции веса пропорциональна разности между весом и требуемым выходом нейрона Гроссберга, с которым он соединен. В символьной записи это выглядит так:

vijн=vijc + β (yj- vijc)ki,

где ki- выход i-го нейрона слоя Кохонена (только для одного нейрона Кохонена он отличен от нуля); yj - j-я компонента вектора желаемых векторов.

Первоначально β берется равным 0.1 и затем постепенно уменьшается в процессе обучения.

Отсюда видно, что веса слоя Гроссберга будут сходиться к средним величинам от желаемых выходов, тогда как веса Кохонена обучаются на средних значениях входов. Обучение слоя Гроссберга- это обучение с учителем. Обучающийся без учителя самоорганизующийся слой Кохонена дает выходы в недетерминированных позициях. Они отображаются в желаемые выходы слоем Гроссберга.

Дата добавления: 2014-01-11