Обучение на основе коррекции ошибок

Модели обучения нейронных сетей.

При создании нейронных сетей используют различные модели обучения. Существует 5 различных моделей обучения:

1) Обучение на основе коррекции ошибок;

2) Обучение с использование памяти;

3) Метод Хебба;

4) Конкурентное обучение;

5) Метод Больцмана.

Рассмотрим более подробно конкурентное обучение и обучение на основе ошибок.

1. (Хайки С. Нейронные сети. Полный курс;)

2. (Оссовский С.)

Рассмотрим нейронную сеть прямого распространения с одним или несколькими скрытыми слоями нейронов и единственным выходным нейроном “k”.

Нейрон “k” работает под управление вектора сигнала производимого одним или несколькими слоями нейронов, где “m” дискретное время (номер шага итерационного процесса настройки синоптических весов нейрона “k”)

Скрытые слои в свою очередь получают информацию из входного вектора (возбуждения),

передаваемого входному слою нейронной сети.

Выходной нейрона “k” обозначим . Этот сигнал является единственным выходом нейронной сети. Он будет сравниваться с желаемым выходом, который обозначим .

В результате получаем сигнал ошибки

Сигнал ошибки инициализирует механизм управления целью, которого является применение последовательности корректировок к синоптическим весам нейрона “k”.

Эти изменения нацелены на пошаговое приближение выходного сигнала к желаемому .

Эта цель достигается за счёт минимизации невязки (или функции стоимости или индекса производительности) E(m), которая определяется в терминах сигнала об ошибке по формуле:

E(m) - это текущее значение энергии ошибки. Пошаговая корректировка синоптических весов нейрона “k” продолжается до тех пор, пока система не достигнет устойчивого состояния, при котором синоптические веса практически стабилизируются, в этой точке процесс обучения останавливается.

Процесс обучения, который мы описали, называется обучением, основанным на коррекции ошибок.

Минимизации функции стоимости E(m) выполняется по дельта правилу, которое также называется Видроу – Хоффа.

Обозначим текущее значение синоптического веса нейрона “k” соответствующего элементу вектора на шаге дескридитации (m). Согласно дельта правилу изменение, изменение синоптического веса на шаге дискредитации (m) задаётся ворожением:

Где, ЭТТА(знак)- некоторая положительная константа называемая параметром скорости обучения.

Ошибка ek(m) вычисляется через множители из последующих слоёв и передается в обратном направлении.

Вычислив изменения синоптического веса по формуле (5) можно определить его новое значение на следующем шаге дескридитиции:

Граф прохождения сигнала в процессе обучения на основе коррекции ошибок для нейрона “k” имеет вид: (Рис 5)

Описание рисунка: Входной сигнал и потенциал активации нейрона “k” представляются в виде предсинаптического и постсинаптического сигнала j-го сигнала нейрона “N”.

Из рисунка (5) следует обучение на основе коррекции ошибок - это пример замкнутой системы обратной связи.

Устойчивость такой системы определяется параметрами обратной связи. В данном случае существует всего 1 обратная связь и единственный параметр – коэффициент скорости обучения .

Выбор параметра ЭТТА, влияет на точность процесса обучения, ему отводится ключевая роль в обеспечении производительности процесса обучения на практике.

Таким образом алгоритм обучения по дельта правилу состоит из 6 шагов. (Они рассмотрены в тетради по практике).

Дата добавления: 2014-01-06