Метод обратного распространения ошибки

Для обучения многослойных сетей рядом учёных, в том числе Д. Румельхартом, был предложен градиентный алгоритм обучения с учителем, проводящий сигнал ошибки, вычисленный выходами перцептрона, к его входам, слой за слоем. Сейчас это самый популярный метод обучения многослойных перцептронов. Его преимущество в том, что он может обучить все слои нейронной сети, и его легко просчитать локально. Однако этот метод является очень долгим, к тому же, для его применения нужно, чтобы передаточная функция нейронов была дифференцируемой. При этом в перцептронах пришлось отказаться от бинарного сигнала, и пользоваться на входе непрерывными значениями.

В общем случае задача обучения НС сводится к нахождению некой функциональной зависимости Y=F(X) где X – входной, а Y – выходной векторы. В общем случае такая задача, при ограниченном наборе входных данных, имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки НС, которая находится по методу наименьших квадратов:

Обучение нейросети производится методом градиентного спуска, т. е. на каждой итерации изменение веса производится по формуле , где η – параметр, определяющий скорость обучения

где y_j – значение выхода j-го нейрона S_j – взвешенная сумма входных сигналов

При этом множитель где x_i – значение i -го входа нейрона

Далее рассмотрим определение первого множителя предыдущей формулы

где k – число нейронов в слое n+1.

Введем вспомогательную переменную

Тогда мы сможем определить рекурсивную формулу для определения n -ного слоя, если нам известно следующего (n+1) -го слоя.

Нахождение же для последнего слоя НС не представляет трудности, так как нам известен целевой вектор, т. е. вектор тех значений, которые должна выдавать НС при данном наборе входных значений.

И наконец запишем формулу в раскрытом виде

Рассмотрим теперь полный алгоритм обучения нейросети:

1. подать на вход НС один из требуемых образов и определить значения выходов нейронов нейросети;

2. рассчитать для выходного слоя НС по формуле (2) и рассчитать изменения весов выходного слоя N по формуле (3)

3. Рассчитать по формулам (1) и (3) соответственно и для остальных слоев НС, n = N-1..1;

4. Скорректировать все веса НС;

5. Если ошибка существенна, то перейти на шаг 1.

На этапе 2 сети поочередно в случайном порядке предъявляются вектора из обучающей последовательности.

55. На чём основывается способность нейронной сети к прогнозированию и сжатию данных. [вверх]

Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из её выходов должен появиться признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежит. Если на двух или более выходах есть признак принадлежности к классу, считается что сеть «не уверена» в своём ответе.

Дата добавления: 2015-04-23