Пример восстановления повреждённого изображения

Если во время обучения сформировать матрицу весовых коэффициентов (межнейронных связей) на основании эталонных бинарных векторов, то нейронная сеть в процессе работы под действием описанных выше полей будет менять состояния нейронов до тех пор, пока не перейдёт к одному из устойчивых состояний.

Пусть имеется нейронная сеть размерностью , в матрицу связей записан набор чёрно-белых картинок (−1 — чёрный цвет, +1 — белый), среди которых есть изображение собачки (рисунок 1б). Если установить начальное состояние сети близким к этому вектору (рисунок 1а), то в ходе динамики нейронная сеть восстановит исходное изображение (рисунок 1б). В этом смысле можно говорить о том, что сеть Хопфилда решает задачу распознавания образов (хотя, строго говоря, полученное эталонное изображение ещё нужно превратить в номер класса, что в некоторых случаях может быть весьма вычислительно ёмкой задачей).

Рисунок 1а	Рисунок 1б

Устойчивость сети в процессе работы[править]

Принципиальная разница между двумя режимами работы сети состоит в том, что в асинхронном случае сеть обязательно придёт к одному устойчивому состоянию. При синхронном же возможны ситуации с бесконечным циклическим переходом между двумя разными состояниями.

Определить, устойчиво или нет состояние нейрона, можно на основании так называемой искусственной энергии нейрона в данном поле . Если знак выхода (+1 или −1) нейрона совпадает с направлением локального поля (), то его положение энергетически устойчиво и в следующий момент времени состояние нейрона остаётся неизменным. В противном случае () положение нейрона неустойчиво и он меняет свой знак, переходя в состояние с энергией .

Устойчивость при асинхроном способе достигается потому, что выполняется условие на общую энергию сети . В синхронном случае условие несколько изменяется, а именно: . В ситуации, когда происходят бесконечные циклические переходы, энергия двух разных состояний соответственно равна и . При этом состояния и , а также и — совпадают. Если образуется такое состояние, то его называется динамическим аттрактором. Если же совпадают состояния и , аттрактор называют статическим. В большинстве случаев динамические аттракторы являются нежелательными, так как не соответствуют какому-либо определённому ответу сети.

Ассоциативная память

Сеть с обратной связью формирует ассоциативную память. Сеть Хопфилда можно отнести к автоассоциативной памяти, то есть такой, которая может завершить или исправить образ, но не может ассоциировать полученный образ с другим образом. Чтобы организовать устойчивую автоассоциативную память с помощью сети с обратными связями, веса нужно выбирать так, чтобы образовывать энергетические минимумы в нужных вершинах единичного гиперкуба.

Задачи минимизации

Обработка визуальных образов (фильтрация и ассоциативная память) — не единственная область применения модели Хопфилда. Динамическая процедура, описанная выше, на каждом шаге понижает значение энергии нейронной сети. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии. Классической проблемой такого типа является задача коммивояжёра.

Дата добавления: 2015-06-04