Обучение, основанное на коррекции ошибок

Обучение, основанное на коррекции ошибок, является классическим примером обучения с учителем.

Рассмотрим один нейрон, который генерирует некоторый выходной сигнал под управлением вектора входного сигнала . Сравнивая полученный выходной сигнал с ожидаемым сигналом , получаем сигнал ошибки:

. (7.15)

На основании полученного сигнала ошибки осуществляется изменение синаптических весов нейрона с целью уменьшения функции стоимости , которая определяется как:

. (7.16)

Пошаговая корректировка синаптических весов нейрона продолжается до тех пор, пока нейрон не достигнет устойчивого состояния, то есть такого, при котором веса практически не меняются. Минимизация функции стоимости осуществляется по так называемому дельта правилу или правилу Видроу-Хоффа.

Обозначим значение синаптического веса на шаге . Тогда, в соответствии с дельта правилом, изменение веса будет задаваться выражением:

, (7.17)

где - константа скорости обучения (обычно выполняется неравенство ), а - компонент входного вектора , соответствующий синаптическому весу . Таким образом, значение синаптического веса после применения дельта правила будет определяться выражением:

. (7.18)

Дельта правило может быть сформулировано следующим образом: корректировка, применяемая к синаптическому весу нейрона, пропорциональна произведению сигнала ошибки на входной сигнал, его вызвавший.

Сформулированное дельта правило предполагает возможность прямого измерения сигнала ошибки, то есть наличие эталонного сигнала .

Следует отметить, что константа скорости обучения определяет эффективность и точность процесса обучения. Для обеспечения сходимости процесса обучения необходим тщательный подбор этого параметра.

Дата добавления: 2014-01-06