Обучение на основе коррекции ошибок

При обучении без учителя можно использовать правила конкурентного обучения.

Например: Если нейронная сеть состоит из 2 слоёв входного и выходного, то входной слой получает доступные данные, выходной слой состоит из нейронов, которые конкурирую друг с другом за право отклика на признаки, содержащиеся во входных данных. В каждый момент времени может быть активным только один нейрон. В простейшем случае нейронная сеть действует по принципу “Победитель получает всё”. При такой стратегии нейрон с наибольшим суммарным входным сигналом побеждает в соревновании и переходит в активное состояние. Такой нейрон называют нейроном-победителем, при этом все остальные нейроны отключаются.

Обучение без учителя является более чувствительным к выбору оптимальных параметров по отношению к обучению с учителем. Качества обучения без учителя сильно зависит от начальных значение синоптических коэффициентов. Обучение без учителя критично к выбору радиуса обучения и скорости его обучения. Важным является характер изменения коэффициента обучения.

Модели обучения нейронных сетей.

При создании нейронных сетей используют различные модели обучения. Существует 5 различных моделей обучения:

1) Обучение на основе коррекции ошибок;

2) Обучение с использование памяти;

3) Метод Хебба;

4) Конкурентное обучение;

5) Метод Больцмана.

Рассмотрим более подробно конкурентное обучение и обучение на основе ошибок.

1. (Хайки С. Нейронные сети. Полный курс;)

2. (Оссовский С.)

Рассмотрим нейронную сеть прямого распространения с одним или несколькими скрытыми слоями нейронов и единственным выходным нейроном “k”.

Скрытые слои нейронов

Выходной нейрон “k”

-

+

Рис. 2

Нейрон “k” работает под управление вектора сигнала производимого одним или несколькими слоями нейронов, где “m” дискретное время (номер шага итерационного процесса настройки синоптических весов нейрона “k”)

Скрытые слои в свою очередь получают информацию из входного вектора (возбуждения),

передаваемого входному слою нейронной сети.

Выходной нейрона “k” обозначим. Этот сигнал является единственным выходом нейронной сети. Он будет сравниваться с желаемым выходом, который обозначим.

В результате получаем сигнал ошибки

Сигнал ошибки инициализирует механизм управления целью, которого является применение последовательности корректировок к синоптическим весам нейрона “k”.

Эти изменения нацелены на пошаговое приближение выходного сигнала к желаемому.

Эта цель достигается за счёт минимизации невязки (или функции стоимости или индекса производительности) E(m), которая определяется в терминах сигнала об ошибке по формуле:

E(m) - это текущее значение энергии ошибки. Пошаговая корректировка синоптических весов нейрона “k” продолжается до тех пор, пока система не достигнет устойчивого состояния, при котором синоптические веса практически стабилизируются, в этой точке процесс обучения останавливается.

Процесс обучения, который мы описали, называется обучением, основанным на коррекции ошибок.

Минимизации функции стоимости E(m) выполняется по дельта правилу, которое также называется Видроу – Хоффа.

Обозначим текущее значение синоптического веса нейрона “k” соответствующего элементу вектора на шаге дискредитации (m). Согласно дельта правилу изменение, изменение синоптического веса на шаге дискредитации (m) задаётся ворожением:

Где, ЭТТА(знак)- некоторая положительная константа называемая параметром скорости обучения.

Ошибка ek(m) вычисляется через множители из последующих слоёв и передается в обратном направлении.

Вычислив изменения синоптического веса по формуле (5) можно определить его новое значение на следующем шаге дискредитации:

F()

-1

Рис.5

Граф прохождения сигнала в процессе обучения на основе коррекции ошибок для нейрона “k” имеет вид: (Рис 5)

Описание рисунка: Входной сигнал и потенциал активации нейрона “k” представляются в виде предсинаптического и постсинаптического сигнала j-го сигнала нейрона “N”.

Из рисунка (5) следует обучение на основе коррекции ошибок - это пример замкнутой системы обратной связи.

Устойчивость такой системы определяется параметрами обратной связи. В данном случае существует всего 1 обратная связь и единственный параметр – коэффициент скорости обучения.

Выбор параметра ЭТТА, влияет на точность процесса обучения, ему отводится ключевая роль в обеспечении производительности процесса обучения на практике.

Таким образом алгоритм обучения по дельта правилу состоит из 6 шагов. (Они рассмотрены в тетради по практике).

Дата добавления: 2014-01-11