Математические модели обучения Хебба

Обучение Хебба

Практики обучения

Алгоритм обучения Хебба назван так в честь нейрофизиолога, который в нейробиологическом контексте предложил следующее правило модификации синаптических весов:

Если аксон клетки А находится на достаточно близком расстоянии от клетки В и постоянно или периодически участвует в ее возбуждении, наблюдается процесс метаболических изменений в одном или обоих нейронах, выражающийся в том, что эффективность нейрона А как одного из возбудителей нейрона В возрастает.

В контексте искусственных нейронных сетей данное правило может быть переформулировано в виде двух утверждений:

- Если два нейрона, связанные синаптической связью возбуждаются одновременно (синхронно), то прочность этой связи (соответствующий синаптический вес) возрастает

- Если два нейрона по обе стороны синапса возбуждаются асинхронно, такой синапс ослабевает (синаптический вес уменьшается).

Можно сформулировать следующие свойства синапса Хебба:

- Зависимость от времени. Изменение синаптического веса зависит от точного времени возникновения предсинаптического и постсинаптического сигналов.

- Локальность. На изменение синаптического веса оказывают воздействие сигналы, находящиеся в пространственно-временной близости.

- Интерактивность. Изменение синаптического веса определяется сигналами на обоих его концах.

- Корреляция. Механизм изменения синаптического веса определяется наличием корреляции между предсинаптическим и постсинаптическим сигналом.

Рассмотрим синапс с синаптическим весом , который соединяет выходной сигнал некоторого нейрона с соответствующим входом нейрона . Выходной сигнал , является -ой компонентой вектора входного сигнала для нейрона .

Таким образом, модификация веса нейрона , будет определяться парой предсинаптического и постсинаптического сигналов . Изменение синаптического веса в момент времени будет определяться соотношением:

(7.19)

Это соотношение может быть записано в различных видах, каждый из которых все равно остается математической моделью алгоритма обучения Хебба.

Гипотеза Хебба. Является простейшей формой обучения Хебба. В соответствии с гипотезой Хебба выражение для модификации веса в момент времени записывается в виде:

, (7.20)

где - константа скорости обучения.

Недостатком данной модели является то, что при частом приложении входного сигнала наблюдается неограниченный рост синаптического веса , что приводит к потере избирательности связей и неспособности сети сохранить какую-либо информацию.

Гипотеза ковариации. Недостаток гипотезы Хебба может быть устранен, если переписать выражение для модификации синаптического веса в виде:

, (7.21)

где и - это усредненные по времени значения предсинаптического и постсинаптического сигналов.

Синапс, вес которого изменяется в соответствии с гипотезой ковариации, обладает следующими свойствами:

- Синаптический вес увеличивается при высоком уровне предсинаптического и постсинаптического сигналов, то есть при и .

- Синаптический вес уменьшается при высоком уровне предсинаптического сигнала, который не вызывает существенной постсинаптической активности, то есть и .

- Синаптический вес уменьшается, если наблюдается существенная постсинаптическая активность при отсутствии значительного предсинаптического сигнала, то есть и .

Дата добавления: 2014-01-06