Обучение Больцмана

Нейронная сеть, состоящая из стохастических нейронов, в которой каждый нейрон связан обратной связью со всеми остальными, и обучаемая в соответствии с алгоритмом обучения Больцмана получила название машины Больцмана.

Алгоритм обучения Больцмана имеет стохастический характер, что способствует поиску абсолютного минимума целевой функции и выхода системы из состояния локального минимума целевой функции. Способность находить абсолютный минимум целевой функции обеспечила широкое применение машины Больцмана для решения задач классификации образов.

На рис. 7.12 приводится простейший пример архитектуры машины Больцмана.

Рис. 7.12 Машина Больцмана

Подразумевается, что в такой сети применяются симметричные синаптические связи, то есть .

Можно выделить два режима функционирования машины Больцмана:

- Скованное состояние, в котором все видимые нейроны находятся в состояниях, определенных внешней средой.

- Свободное состояние, в котором все нейроны могут свободно функционировать.

В процессе функционирования сети выбирается один из свободных нейронов и его состояние изменяется с вероятностью:

, (7.26)

где - это энергия машины, определяемая соотношением:

, (7.27)

а - изменение энергии машины, вызванное переключением состояния выбранного нейрона. Многократное повторение этой процедуры приводит к достижению машиной состояния термального равновесия.

Процедура обучения для такой сети состоит из следующих шагов:

1. Вычислить закрепленные вероятности.

a. придать входным и выходным нейронам значения обучающего вектора;

b. предоставить сети возможность искать равновесие;

c. запомнить выходные значения (состояния) для всех нейронов;

d. повторить шаги от а до с для всех обучающих векторов;

e. вычислить вероятность , то есть по всему множеству обучающих векторов вычислить вероятность того, что состояния обоих нейронов равны единице.

1. Вычислить незакрепленные вероятности.

a. предоставить сети возможность «свободного движения» без закрепления входов или выходов, начав со случайного состояния;

b. повторить предыдущий много раз, запоминая состояния всех нейронов;

c. вычислить вероятность , то есть вероятность того, что состояния обоих нейронов равны единице.

1. Скорректировать веса сети следующим образом: , где - изменение веса , а - константа скорости обучения.

Обученная в соответствии с алгоритмом Больцмана нейронная сеть обладает способностью к дополнению входных образов. То есть, если входной вектор с неполной информацией поступает на вход сети, сеть дополнит недостающую информацию.

Основным недостатком алгоритма обучения Больцмана является большая длительность процесса обучения.

Дата добавления: 2014-01-06