Лекция 4.Сети с обратным распространением ошибки. Основной элемент сети обратного распространения. Алгоритмы обучения и функционирования

Трудности с алгоритмом обучения персептрона

1. Может оказаться затруднительным определить, выполнено ли условие разделимости для конкретного обучающего множества. Кроме того, во многих встречающихся на практике ситуациях входы часто меняются во времени и могут быть разделимы в один момент времени и неразделимы в другой.

2. В доказательстве алгоритма обучения персептрона ничего не говорится также о том, сколько шагов требуется для обучения сети. Мало утешительного в знании того, что обучение закончится за конечное число шагов, если необходимое для этого время сравнимо с геологической эпохой. Кроме того, не доказано, что персептронный алгоритм обучения более быстр по сравнению с простым перебором всех возможных значений весов, и в некоторых случаях этот примитивный подход может оказаться лучше.

Обратное распространение – это систематический метод для обучения многослойных искусственных нейронных сетей.

В качестве основного строительного блока в сетях обратного распространения используется обычная модель искусственного нейрона, а в качестве активационной функции –сигмоидальная функция

OUT = 1/(1- e-^NET) (10)

Эта функция удобна, т.к. имеет простую производную, что используется при реализации алгоритма обратного распространения:

∂ OUT/∂NET = OUT (1-OUT) (11)

Рис.14. Двухслойная сеть обратного распространения.

На рис.14 изображена многослойная сеть, которая может обучаться с помощью процедуры обратного распространения. Первый слой нейронов служит лишь в качестве распределительных точек, суммирования входов здесь не производится. Каждый нейрон последующих слоев выдает сигналы NET и OUT.

Дата добавления: 2014-01-11