Алгоритм обучения сети

В многослойных же сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойный персептрон уже невозможно обучить, руководствуясь только величинами ошибок на выходах НС.

Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети. По этому принципу строится, например, алгоритм обучения однослойного персептрона.

Среди различных структур нейронных сетей (НС) одной из наиболее известных является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в случае первого слоя, со всеми входами НС. Такие НС называются полносвязными.

Нейронная сеть с обратным распространением ошибки (back propagation)

Один из вариантов решения этой проблемы – разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что, конечно, является очень трудоемкой операцией и не всегда осуществимо.

Второй вариант – динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются, как правило, наиболее слабые связи и изменяются на малую величину в ту или иную сторону, а сохраняются только те изменения, которые повлекли уменьшение ошибки на выходе всей сети. Очевидно, что данный метод "тыка", несмотря на свою кажущуюся простоту, требует громоздких рутинных вычислений.

И, наконец, третий, более приемлемый вариант – распространение сигналов ошибки от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения.

1. Инициализация сети: весовые коэффициенты и сдвиги сети принимают малые случайные значения.

2. Определение элемента обучающего множества: (вход - выход). Входы (x₁, x₂... x_N), должны различаться для всех примеров обучающего множества.

3. Вычисление выходного сигнала:

y_im= f(S_jm)

i_m=1, 2,..., N_m, m=1, 2,..., L

где S - выход сумматора, w - вес связи, y - выход нейрона, b - смещение, i - номер нейрона, N - число нейронов в слое, m - номер слоя, L - число слоев, f - передаточная функцяя.

4. Настраивание синаптических весов:

w_ij(t+1)=w_ij(t)+rg_jx'_і

где w_ij - вес от нейрона i или от элемента входного сигнала i к нейрону j в момент времени t, x_i' - выход нейрона i, r - скорость обучения, g_j - значение погрешности для нейрона j.

Если нейрон с номером j принадлежит последнему слою, тогда

g_j=y_j(1-y_j)(d_j-y_j)

где d_j - желаемый выход нейрона j, y_j - поточный выход нейрона j.

Если нейрон с номером j принадлежит одному из слоев с первого по предпоследний, тогда

где k пробегает все нейроны слоя с номером на единицу больше, чем у того, которому принадлежит нейрон j.

Внешние сдвиги нейронов b настраиваются аналогичным образом.

Области применения. Распознавание образов, прогнозирование.

Недостатки. Многокритериальная задача оптимизации в методе обратного распространения рассматривается как набор однокритериальных задач - на каждой итерации происходят изменения значений параметров сети, которые улучшают работу лишь с одним примером обучающей выборки. Такой подход существенным образом уменьшает скорость обучения.

Дата добавления: 2014-01-07