ШНMFB Хопфілда

Модель ШНМ Хопфілда була однією із 1-их мереж FB. У спрощеному варіанті така мережа є одношаровою. Таким чином зворотні зв’язкі встановлються між виходом прошарку і його входом

1. Архітектура мережі Хопфілда

Схематично мережа Хопфілда може бути зображена так:

IN1

IN2

INM

- - - - - -> 1out₁

-- - - - - -> 2out₂

- - - - - - ->Mout_M

Тут позначено:

Прошарок 1 – це прошарок нейронів Хопфілда

Прошарок 0 – це вихідний прошарок, який виконує лише функцію розділення сигналів з виходів нейронів Хопфілда на їх входи

W _ij – ваговий коефіцієнт зворотнього зв’язку виходу і- ого нейрона Хопфілда, на віхд j -ого нейрона Хопфілда.

W _ij =0, тобто сигнал і -ого нейрона на цей самий нейрон назад не подається. (N1,N2,…,NM) вхідні сигнали що початково подаються на прошарок.

out1, out2, …,outM – виходи нейронів

2. Функціонування мережі Хопфілда

Початково на вхід прошарку Хопфілда подається М-компонентний образ у вигля вектора

На виході кожного із нейронів формується деякий сигнал . Отримані сигнали по зворотніх зв’язках повертаються на входи нейронів Хопфілда, через синаптичні зв’язкі з вагами W _ij. В результаті функціонування прошарку Хопфілда формується новий вихідний сигнал . Далі здійснюється співставлення двох послідовних значень та .

Якщо різниця між двома послідовними значеннями не перевищує заданої похибки, то вважається, що мережа Хопфілда стабілізувалась і останій отриманий результат можна вважати результатом робочої мережі Хопфілда. Якщож різниця між послідовними значеннями та

Перевищує задану похибку останній результат знову повертається на віхд прошарку Хопфілда, і процес обчислення повторюється.

Можливі 2 випадки обчислень мережі Хопфілда

1) За скінчену кількість ітерацій мережа стабілізувалася і сформувався деякий вихідний образ, мережа є стійкою

2)При достатньо великій кількості ітерацій стабілізації мережа недосягла, вихідного результату немає, - нестійка мережа

3. Випадок мережі Хопфілда із бінарними станами

У перших моделях ШНМ Хопфілда використовувалися бінарні системи. При цьому передатні функції обирались у вигляді порогової функції стрибка із бінарними значеннями 0 і 1. Суматор кожного нейрона обчислювався за формулою

Ʃ_i= +In_i (1)

Вихід кожного нейрона встановлювався в залежності від порогу його активації Р _і. При цьому новий вихіж визначався так

= 1, Ʃ_i>P_i

(2) = 1, Ʃ_i<P_i

= – вихід не змінювався, Ʃ_i=P_i

У випадку бінарних систем із М-компонентів така система може перебувати у одному із 2^М можливих станів. Кожен стан такої системи це М- компонентний вектор з 0 та 1.

2^М

У випадку двох нейронів Хопфілда система може перебувати у 4-ох станах які схематично утворюють квадрат

(0,1) (1,1)

(0,0) (1,0)

У випадку стійкості мережі Хопфілда через скінчену кількість ітерацій система перестає змінювати свій стан і зупиняється у якійсь із вершин М – вимірного гіперкута. Координація цієї вершини у М – вимірному просторі будуть результатом мережі Хопфілда.

Стійкість мережі.

Для ітерації властивостей стійкості мережі розглянемо основну функцію, яку називають енергією мережі, така аналогія пов’язана із тим, що будь-яка система набуває стійкості лише в положені мінімуму власної енергії. Доведено, що моделі мереж Хопфілда, будуть стійкими у особливих випадках матриці вагових коефіцієнтів W _ij:

Матриця ваг повина бути симетричною і діагональні елементи матриці =0

Формулою штучної енергії у випадку бінарної системи Хопфілда обираємо у вигляді

Ʃ = - +

Тут позначено:

W_ij – вагові коефіцієнти зворотніх зв’язків

out _i,out _j – виходи відповідних нейронів Хопфілда

In _j – початковий вхід j -ого нейрона Хопфілда

Р _j – поріг активації j -ого нейрона Хопфілда

Зміна енергії мережі може мати місце через зміну стану довільного j-ого нейрона. У цьому випадку варіація енергії обчислюється так:

δƩ=(- - + )δ = -(Ʃ_j-P_j)δout_j (4)

Розглянемо можливі випадки:

1)Нехай Ʃ_j>P_j тоді

out_j=1,δout_j 0,δƩ 0

2) Ʃ_j<P_j out_j=0, δout_j 1, δƩ 0

3) Якщо Ʃ_j= P_jтоді out_j не змінюється δƩ=0, δout_j 0, out_j=0

Таким чином у будь-якому випадку бінарна система, які відповідає моделі ШНМ Хопфілда із зворотніми зв’язками, допускає зміну внутрішньої енергії лише у напрямі зменшення або хочаб залишає її незміною. При цьому можливі 2 випадки:

1)Послідовність зміни станів із зменшенням енергії приводять до мінімуму енергії – ШНМ стабілізувалася і останній стан є результатом її функціонування;

2)Послідовність зміни станів не приводить до мінімуму енергії система переходить у рівноенергетичні стани - ШНМ не стабілізувалася і результат її функціонування є невизначеним.

Теоретичні дослідження таких моделей ШНМ із енергетичними функціями виду (3) показали, що у випадку симетричних матриць вагових коефіцієнтів із нульовими діагональними елементами стабілізація гарантується, більш того стійкість гарантується увипадку квадратично симетричних матриць елементів, із квадратично нульовими діагональними елементами

4. Модель асоціативної пам’яті

Люська пам’ять переважно є асоціативною, а не адресною як у ЕОМ, це довзоляє пофрагментну деякого образу відновити весь образ або за 1 образом відтворити інший образ який пов’язаний із ним асоціативно.

ШНМ Хопфілда із зворотніми зв’язками досить вдало реалізує модель асоціаппптивної пам’яті. При цьому процесс навчання мережі фактично є запам’ятовуванням образів. Функціонування самої ж мережі дозволяє відновити якийсь із запам’ятованих образів.

Звичайно відновлення можливе, якщо кількість образів у навчальній множині не є дуже великою. Адже успішне запам’ятовування і подальше відновлення можливе, коли образи між собою є відмінними.

Матриця вагових коефіцієнтів W _ij формується в процесі навчання запам’ятовування. У подальшому вагові коефіцієнти W _ij незмінні. Якщо потрібно добавити образи в навчальну множину, то весь процес навчання запам‘ятовування потрібно виконувати від початку.

Математично запам‘ятовування образів визначається складним добутком векторів усіх образів

W_ij= (5)

Тут N – кількість образів що запам‘ятовується

– довільний вектор образ

- транспонований вектор образ

Таким чином можна говорити про скалярний добуток вектора рядка на вектор стовпець.

Розглянемо приклад

=(1,0,0,0)

=(0,1,0,0)

=(0,0,1,0)

=(0,0,0,1)

Х₁= Х₂= Х₃= Х₄=

При запам’ятовувані здійснюється перехід від бінарних значень (0,1) до значень (-1,1). Таким чином матриця вагових коефіцієнтів обчислюється так

=(1000)

=(0100)

=(0010)

=(0001)

W₁₁=0 W₂₁=W₁₂=-4 W₃₄=0 W₄₁=W₁₄=0

W₁₂=-4 W₂₂=0 W₃₃=0 W₄₂=W₂₄=-4

W₁₃=0 W₂₃=0 W₃₂=0 W₄₃=W₃₄=-4

W₁₄=0 W₂₄=-4 W₃₄=-4 W₄₄=0

0 -4 0 0

-4 0 0 -4

0 0 0 -4

0 -4 -4 0

Візьмемо частково спотворений образ = (0,1,0,0)

Порогом активації для усіх нейронів можна обирати 0, оскільки скалярний добуток суматора дає як додатнє так і від’ємне значення

Ʃ₁= · = 0·0+1·(-4)+0·0+0·0=-4 < 0, out₁=0

Ʃ₂= · = 0·(-4)+0·1+0·0+0·(-4)=0, out₂незмінюється = = 1

Ʃ₃= · = 0·0+1·0+0·0+0·(-4)=0, out₃незмінюється = = 0

Ʃ₄= · = 0·0+1·(-4)+0·(-4)+0·0=-4<0, out₄=0

= (0,1,0,0)= (0,1,0,0)

Оскільки вектор вихідних сигналів дорівнює вектору початкогово вхідного образу, то функціонування ШНМ припиняється, стабілізація має місце на 1-ій ітерації. Нажаль відновлення не відбулося, оскільки початковий вхідний образ однаково подібний до 2-х образів навчальної множини на х₂ та х₃.

Дата добавления: 2015-08-31