Многослойный перцептрон Розенблата, архитектура, емкость сети

Алгоритм обучения перцептрона Розенблата

1. Инициализация синоптических весов и сдвигов. Они принимают небольшие случайные значения Wi, b=Rnd

2.Предъявл. нейрону новый входной и желаемый выходной сигнал

x,d

x=(x1,x2…xn)-вектор _n

3.Вычисление выходного сигнала нейрона y=F(å(WiXj)-b)

4. Настраиваем значения весов ⁱ⁼¹

·

Wi=Wi+h*(d-y)*Xi

h-скорость обучения, 0<h<1

d-указание учителя

y-выходные сигналы

у должен быть равен d, если y не =d, то ошибка. Подбираем веса пока не станет y=d

Wi-вес связи, соответствующий итому сигналу

·

W-новый синоптический вес

Синоптический вес меняется пропорционально входному сигналу и в направл.ошибки

5. Переход к шагу 2

6. Эпоха- однократный прогон всех обучающих сигналов.

Обучение прекращается:

-если нет ошибок распознавания и y=d

-ограничение на количество эпох

-по времени

S-элементы –сенсоры

R-элементы –реагирующие элементы

А-ассоциативные элементы

В простейшем случае 3 слоя: входной, выходной, промежуточный

На каждой связи синоптический вес

W¹₄₃1-от первого слоя ко второму, от 4ого элемента первого слоя к 3ему элементу второго слоя

Устанавливаются связи только между нейронами соседних слоев. Каждый слой соединен модифицированной связью с любым нейроном соседних слоев. Между нейронами одного слоя связей нет. Каждый нейрон может посылать сигнал только в вышестоящий слой и принимать выходной сигнал только из нижестоящего слоя. Выходные сигналы подаются на нижний слой, а выходной вектор определяется путем последовательных вычислений уравнений активных элементов каждого слоя снизу вверх с использованием уже известных значений активных элементов предшествующих слоев.

Емкость сети Это количество образов, которые способна различать нейронная сеть. Nо-это количество элементов.S,R,A-см.вопрос26

Оценки для многослойных перцептронов N_w/N_R<No< N_w/N_R*Log(N_w/N_R)

Оценка количества ассоциативных элементов N_R-N_s<N_A<=N_R+N_s

Рекомендации к количеству синаптических связей N_w>1000*N_R

Рекоменд.кол-во символов задавать >,чем 1000 кол-во выходных сигналов.

показано, что при количестве больше чем maxN_w=N_A*(N_S+N_R), то происходит переобучение нейронной сети.Эта оценка дала для случая области значений активационной функции от -0,5 до 0,5

F(S)Î[-0.5;0.5]Если S>0,5, то НС плохо обучаема

Дата добавления: 2015-04-24