Персептрон. Қарапайым персептрон – бұл сәйкес оқыту стратегиясы бар МакКаллока – Питстің қарапайым моделі

Қарапайым персептрон – бұл сәйкес оқыту стратегиясы бар МакКаллока – Питстің қарапайым моделі. Персептронның і-ші элементінің құрылымдылық сұлбасы және элементтерінің белгілеулері 13.3-суретте көрсетілген. x _j кіріс сигналдары келіп түсетін сумматорлар кірістерінің үлес коэффициенттері w_ij деп белгіленеді, ал w_i0 –поляризатордан түсетін синалдың порогтық мәні. Персептронды белсендендірудің сызықтық емес функциясы сатылы түрдегі дискреттік функция түрінде болады, ал оның нәтижесінде нейронның шығыс сигналы төмендегі ережеге сәйкес тек екі мәнді 0 немесе 1 ғана қабылдайды:

(13.4)

мұнда, u_i арқылы сумматордың шығыс сигналы белгіленген.

(13.5)

Бірінші формулада ұзындығы N болатын х векторы поляризация сигналын қалыптастыратын х ₀ қосымша нөлдік мүшемен толықтырылған, х =[х₀, x ₁,..., x _N]. Персептронды оқыту мұғалімді және Y_i шығыс сигналының мәні d_j берілген мәнге жуық болатындай етіп w_ij үлестерін іріктеп алуды қажет етеді. Бұл х векторы арқылы көрінетін әрбір оқыту таңдауына априориде і-ші нейронның шығысында d_i күтілетін мәні сәйкес қойылған оқыту түрі.

Персептронды оқыту әдістерінің ең танымал әдісі үлесті келесі алгоритм бойынша таңдау.

1 Басында таңдалынып алынған (көбінесе кездейсоқ таңдалған) w_ij үлестерінің мәндерінде нейрон кірісіне оқыту х векторы келіп түседі және y_i шығыс сигналының мәні есептелінеді. Нақты есептелген y_i мәндерімен d_j берілген мәндерді салыстыру арқылы үлес мәндері анықталып, нақтылынады.

2 Егер у_i мәндері d_j күтілетін мәндермен бірдей болса, онда w_ij үлес коэффициенттері өзгермейді.

3 Егер у_i = 0 ал сәйкес берілген мән d_j = 1 болса, онда үлес мәндері w_ij(t+1) = w_ij (t)+ х _j формуласы арқылы нақтыланады, ал мұндағы t- алдыңғы циклдің номерін көрсетеді, ал (t+ 1) - ағымды цикл номерін көрсетеді.

4 Егер у_i = 1 ал сәйкес берілген мән d_j = 0 болса, онда үлес мәндері w_ij(t+1) = w_ij (t)- х _j формуласы арқылы нақтыланады.

Үлес коэффициенттерін анықтап болғаннан кейін келесі х векторы және онымен байланысты d_i күтілетін мәндер беріліп, үлестер қайтадан анықталады.

Бұл үдеріс оқытушы таңдауларда барлық у_i мен сәйкес d_j күтілетін мәндердің арасындағы айырмашылықтар минимизацяланғанға дейін көп қайталана береді.

Персептрон ережесі кейін Видроу-Хоффтың ұсынған ереженің жеке бір нұсқасы екенін айта кету керек. Мұнда нейронның үлес коэффициенттерін таңдап алу төмендегі формула арқылы жүргізіледі:

w_ij (t + 1) = w_ij (t)+ Dw_ij (13.6)

Dw_ij=х_j(d_i-y_i) (13.7)

Бұл сияқты қатынастар w_i0 поляризатор үлесін анықтауда қолданылады, ал ол үшін кіріс сигналы әрқашан 1-ге тең, осыған байланысты:

Dw_i0 = (d_i - у_i). (13.8)

Персептрон ережесінеде, Видроу – Хофф жалпылау ережесінеде тән ерекшелік оқыту үшін тек шығыс сигналының ағымды және күтілетін мәндері туралы ақпаратты ғана қолдануларында. Персептронды белсендендірудің сызықтық емес функциясының үзілгіштігіне байланысты у_i мәнінің өзгеруі туралы ақпаратты (яғни, оның туындысы) ескеру мүмкін емес. Нейронның y_i нақты реакцияларымен d_j күтілетін мәндерінің арасындағы алшақтықты минимизациялауды Е нақты қателік функциясын минимизациялау сияқты көрсетуге болады, және көбінесе (13.9) формуласы арқыты анықталады:

(13.9)

Мұнда, р – оқытатын таңдаулардың ұсынылатын санын білдіреді.

Персептрон ережесін қолданғанда бұл сияқты минимизация градиентсіз оптимизация әдісі бойынша жүргізіледі.

Әдістің тиімділігін тек Е мақсатты функциясы үзіліссіз болатын белсендендірудің үзіліссіз функциясын қолданған уақытта ғана көтеруге болады, бұл оқыту барысында градиент шамасы туралы ақпаратты қолдануға мүмкіндік береді.

Дата добавления: 2015-06-04