Алгоритм обучения по правилу Хебба

Персептронные алгоритмы обучения

Данный алгоритм положен в основу процесса обучения многих типов нейронных сетей.

Рассмотрим особенности применения правила Хебба к обучению НС.

Рассмотрим НС следующего вида:

w_ij – весовой коэффициент связи нейронов i и j.

Предположим, что функция активации в выходном нейроне является пороговой. Для представления пороговой функции используется дополнительный вход с некоторым весовым коэффициентом b. Тогда выходной сигнал НС может быть вычислен следующим образом:

.

Процесс обучения НС состоит в настройке коэффициентов межнейронных связей и порогов при подаче на входы НС образов из обучающей выборки. Входной образ представляется в виде вектора X, каждая компонента которого подается на один из входов нейронной сети.

Значения коэффициентов межнейронных связей и порогов рассматриваемой НС на каждом шаге обучения (t, t +1,…) вычисляются с помощью следующих соотношений:

(*)

Различают алгоритм обучения в соответствии с правилом Хебба с учителем и без учителя. При обучении с учителем выходные сигналы НС сравниваются с эталонными значениями. При использовании алгоритма без учителя: реальные сигналы с выхода нейронной сети используются для кластеризации входных образов.

дискриминантная линия

Таким образом, алгоритм обучения по правилу Хебба сводится к следующей последовательности действий:

1. Инициализация весовых коэффициентов и порогов случайными значениями, близкими к нулю (чтобы сеть сразу не могла войти в насыщение).

2. Подача на вход НС очередного входного образа.

3. Вычисление значения выхода.

4. Если значение выхода не совпадает с эталонным значением, то происходит модификация коэффициентов в соответствии с формулами (*). В противном случае осуществляется переход к пункту 5.

5. Если не все вектора из обучающей выборки были поданы на вход НС, то происходит переход к пункту 2. Иначе, переход к пункту 6.

6. Останов.

Правило Хебба не гарантирует сходимости процесса обучения, то есть ошибка аппроксимации функции нейронной сетью может превышать допустимое значение.

Основной недостаток алгоритма обучения по правилу Хебба заключается в том, что при увеличении размерности n входного вектора сходимость алгоритма уменьшается. При n > 5 трудно гарантировать сходимость.

Данный алгоритм, как правило, используется в качестве некоторого элемента в других алгоритмах обучения. Наиболее предпочтительным является использование правила Хебба в алгоритмах обучения без учителя.

Пример 1. Воспроизвести с помощью НС логическую функцию «ИЛИ». Будем проводить обучение в соответствии с правилом Хебба.

Примем значения сигналов биполярными: 1 и -1.

В соответствии с правилом Хебба инициализируем работу НС:

Вычисляем значение коэффициентов на каждом шаге:

, вычисляются аналогично.

Результаты вычислений сведём в таблицу.

шаг	x1	x2	x3	y	w11	w21	b
t t+1 t+2 t+3 t+4	– -1 -1	– -1 -1	– -1 -1 -1 -1	– -1			-1 -2

– дискриминантная линия

x

Алгоритм обучения Розенблатта

Данный алгоритм был положен в основу обучения однослойных персептронов.

Структура персептрона Розенблатта представляется следующим образом:

S -нейроны (сенсорные) – предназначены для формирования входных сигналов; выполняют чисто распределительную функцию. Каждый сенсорный нейрон связан с одним или несколькими нейронами следующего слоя (ассоциативными нейронами), при этом каждый ассоциативный нейрон может быть связан с несколькими S -нейронами.

A -нейроны (ассоциативные) – предназначены для непосредственной обработки входных сигналов. Выходы ассоциативных нейронов соединены с входами нейронов третьего слоя.

R -нейроны (эффекторные) – предназначены для передачи сигналов к другим нейронам или сетям. Нейроны этого слоя имеют несколько входов (дендритов) и один выход (аксон), который возбуждается, если суммарная величина входных сигналов превосходит порог срабатывания (функция активации нейронов – пороговая).

Отличия алгоритма обучения Розенблатта от алгоритма обучения по правилу Хебба сводятся к следующему:

1. вводится эмпирический коэффициент α с целью улучшения процесса сходимости: α – скорость обучения ;

2. исключены некоторые действия, которые замедляют процесс обучения, например, обновление весовых коэффициентов (update).

3. входные образы на вход НС подаются до тех пор, пока не будет достигнута допустимая величина ошибки обучения.

4. если решение существует, алгоритм обучения Розенблатта сходится за конечное число шагов.

Алгоритм обучения персептрона Розенблатта заключается в настройке коэффициентов межнейронных связей и порогов в слое A. На каждом шаге обучения, если необходимо, происходит обновление весовых коэффициентов в соответствии со следующей формулой.

, (**)

где t – номер такта; i – номер нейрона во входном слое; j – номер нейрона в слое A; α – скорость обучения; x_i – входной сигнал; е_j – ошибка обучения.

На каждом шаге обучения вычисляется ошибка обучения е_j:

,

где d_j – эталонное значение входного сигнала; y_j – реальное значение входного сигнала.

Алгоритм обучения Розенблатта сводится к следующей последовательности действий:

1. Инициализация весовых коэффициентов и порогов значениями, близкими к нулю.

2. Подача на вход НС очередного входного образа (входного вектора Х), взятого из обучающей выборки, и вычисление суммарного сигнала по всем входам для каждого нейрона j: , где n – размерность входного вектора, x_i – i -я компонента входного вектора, w_ij – весовой коэффициент связи нейрона j и входа i.

3. Вычисление значения выхода каждого нейрона:

, где b_j – порог, соответствующий нейрону j

4. Вычисление значения ошибки обучения для каждого нейрона .

5. Проводится модификация весового коэффициента связи по формуле (**).

6. Повторение пунктов 2 – 5 до тех пор, пока ошибка сети не станет меньше заданной .

Особенности алгоритма обучения Розенблатта: должна быть задана скорость обучения α и ошибка обучения е.

Пример. Воспроизведение логической функции «И» с помощью НС. Обучение НС

производится в соответствии с алгоритмом обучения Розенблатта.

Значения сигналов – биполярные: 1 и -1. Задаём скорость обучения α = 1.

Инициализируем работу НС:

Вычисляем значение коэффициентов на каждом шаге:

, вычисляются аналогично.

Результаты вычислений сведём в таблицу.

шаг	x1	x2	x3	y	d	w11	w21	b
t t+1 t+2 t+3 t+4	– -1 -	– -1 -	– -1 -1 -1 -1	– -1 -1	– -1 -1 -1			-2

– дискриминантная линия

x

Дата добавления: 2014-01-15