Вычисляется производная ошибки по входу активационной функции

Одним из наиболее проработанных методов обучения с учителем является метод обратного распространения, являющийся градиентным методом локальной оптимизации с вычислением производных первого порядка. Алгоритм обратного распространения был изобретен в 1974г. Полем Дж. Вербосом.

Согласно этому алгоритму вектор ошибки определяется как разность вектора выходов и эталонного вектора выходов. Подсчитывается квадрат модуля вектора ошибки, т.е. сумма квадратов разностей компонент указанных векторов. Затем меняются веса связей для минимизации ошибки. Каждый вес меняется на величину, пропорциональную скорости, с которой изменяется ошибка по мере изменения веса.

Обозначим индексом j выходной слой, i - предыдущий слой. Суммарная ошибка вычисляется следующим образом:

где Y_jk - выходная активность k -го нейрона j -го слоя;

D_jk - эталонный выход k -го нейрона j -го слоя.

Активность нейрона есть функция его входа, например сигма-функция:

где X_jk - суммарный взвешенный вход k -го нейрона j -го слоя, который вычисляется следующим образом:

где Y_il - выход l -го нейрона i -го слоя;

W_il^jk - вес связи;

суммирование проводится по всем нейронам i-го слоя, связанным с данным нейроном j-го слоя.

Алгоритм обратного распространения:

1. Вычисляется производная ошибки по активности выходного элемента:

выходного элемента:

Дата добавления: 2014-01-20