Кодирование ассоциаций

Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обуча­ющего набора, состоящего из пар векторов А и В. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведений всех векторных пар обучающего набора. В символьной форме

Предположим, что все запомненные образы представ­ляют собой двоичные векторы. Это ограничение покажется менее строгим, если вспомнить, что все содержимое Биб­лиотеки Конгресса может быть закодировано в один очень длинный двоичный вектор. В работе [II] показана возмож­ность достижения более высокой производительности при использовании биполярных векторов. При этом векторная компонента, большая чем 0, становится 1, а компонента, меньшая или равная 0, становится -1. Предположим, что требуется обучить сеть с целью запоминания трех пар двоичных векторов, причем векторы А_i имеют размерность такую же, как и векторыВ_i. Надо отметить, что это не является необходимым условием для работы алгоритма; ассоциации могут быть сформированы и между векторами различной размерности.

Вычисляем весовую матрицу

Далее прикладывая входной вектор А = (1,0,0), вычисляем выходной вектор О

Используя пороговое правило

b_i = 1, если O_i>0,

b_i = 0, если O_i<0,

b_i не изменяется, если O_i=0

Вычисляем

что является требуемой ассоциацией. Затем, подавая вектор B’₁ через обратную связь на вход первого слоя к W^t, получаем

что дает значение (1,0,0) после применения пороговой функции, образуя величину вектора А₁. Этот пример показывает, как входной вектор А с использованием матрицы W производит выходной вектор В. В свою очередь вектор В с использованием матрицы W^t производит вектор А, таким образом в системе формирует­ся устойчивое состояние и резонанс. ДАП обладает способностью к обобщению. Например, если незавершенный или частично искаженный вектор пода­ется в качестве А, сеть имеет тенденцию к выработке запомненного вектора В, который в свою очередь стремит­ся исправить ошибки в А. Возможно, для этого потребует­ся несколько проходов, но сеть сходится к воспроизведе­нию ближайшего запомненного образа. Системы с обратной связью могут иметь тенденцию к колебаниям; это означает, что они могут переходить от состояния к состоянию, никогда не достигая стабильнос­ти. В [9] доказано, что все ДАП безусловно стабильны при любых значениях весов сети. Это важное свойство возникает из отношения транспонирования между двумя весовыми матрицами и означает, что любой набор ассоциа­ций может быть изучен без риска возникновения неста­бильности. Существует взаимосвязь между ДАП и рассмотренными в гл. 6 сетями Хопфилда. Если весовая матрица W являет­ся квадратной и симметричной, то W=W^t. В этом случае, если слои 1 и 2 являются одним и тем же набором нейро­нов, ДАП превращается в автоассоциативную сеть Хопфил­да.

Дата добавления: 2014-01-15