Сеть Хопфилда

Сеть Хопфилда относится к рекуррентным сетям и представляет собой разновидность сетей, которые могут быть рассмотрены как ассоциативная память.

Ассоциативная память (память с адресацией по содержанию) – запоминающее устройство, состоящее из ячеек, в которых хранятся данные. Выборка и запись в эти ячейки проводится в зависимости от содержащейся в ней информации. Поиск информации может осуществляться при не полностью заданном запросе.

Ассоциативной памяти человека присуще следующие особенности:

• поиск информации в памяти основывается на некоторой мере, определяющей меру сходства с ключевым образом;
• память способна хранить образы структурированных последовательностей;
• выборка информации из памяти представляет собой динамический процесс.

На основе исследования ассоциативной памяти человека был построен Ассоциатрон (Накано, Амосов, Палм).

Ассоциатрон – упрощенная модель НС, состоящей из нейронов, каждый из которых связан со всеми остальными синоптическими связями, причем все нейроны работают параллельно. Ассоциатрон запоминает образы, представленные в виде бинарного вектора. По части входного образа сеть может восстановить полный образ, при этом может запоминаться любое количество образов, но точность и воспроизведение уменьшается с увеличением числа образов.

Количество образов, которое может одновременно хранить нейронная сеть, называется информационной ёмкостью сети. Это один из основных показателей работы НС.

Существует несколько разновидностей сети Хопфилда:

• сеть работает в дискретном времени, сигналы сети могут принимать только дискретные значения;
• сеть работает в дискретном времени, сигналы сети могут принимать непрерывные значения;
• сеть работает в непрерывном времени, сигналы сети могут принимать только непрерывные значения.

Для дискретной сети Хопфилда используется пороговая функция активации, для непрерывной – гиперболический тангенс. Сигналы сети могут быть биполярные , либо .

Сеть Хопфилда состоит из одного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан со всеми остальными нейронами (полносвязная сеть), а также имеет один вход, через который осуществляется ввод сигнала.

Нейроны принимают решение асинхронно, связь между ними осуществляется мгновенно и все связи симметричны: . Матрица весов по главной диагонали – нулевая.

Все возможные состояния сети образуют некое подобие холмистой поверхности, а текущее состояние сети аналогично поведению тяжелого шарика, пущенного на эту поверхность: он движется вниз по склону в ближайший локальный минимум. Каждая точка поверхности соответствует некоторому сочетанию активностей нейронов в сети, а высота подъёма поверхности в данной точке характеризует "энергию" этого сочетания, называемую функцией Ляпунова:

.

Аттрактор – устойчивое состояние сети, соответствующее определенной стационарной точке, некоторому образу.

Чтобы обучить сеть, необходимо сформировать соответствующий профиль энергетической поверхности, т.е. выбрать веса таким образом, чтобы при фиксировании входного вектора сеть приходила к энергетическому минимуму, соответствующему нужному выходному вектору.

Алгоритм обучения основан на правиле Хебба (состояние, в которое приходит сеть на каждом следующем шаге, зависит от состояния сети в предыдущий момент времени) и сводится к следующей последовательности действий:

1. Инициализация сети; синаптические коэффициенты устанавливаются следующим образом: ,

где i и j – индексы, предсинаптического и постсинаптического нейронов; i -тый и j -тый элементы вектора k -того образа.

1. Подача на входы сети неизвестного сигнала, его распространение непосредственно устанавливает значение выходов: .
2. Расчет новых состояний нейронов:

и новых значений выходов: , где f – ступенчатая функция активации с порогами {+1, –1}, t – номер текущей итерации.

1. Проверка изменения выходного сигнала. Если да – переход к п.2, иначе (если выходной сигнал находится в зоне притяжения определенного аттрактора и не меняется) – конец. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Недостатки сети:

• Тенденция "стабилизации" выходного сигнала в локальном, а не в глобальном минимуме.
• Процесс сходимости является довольно длительным, поэтому необходимо подбирать примеры обучающей выборки.
• Число запомненных образов m не должно превышать величины, приблизительно равной . В связи с данным ограничением сеть иногда не может провести распознавание и выдает на выходе несуществующий образ.
• Если два образа А и Б сильно похожи, они, возможно, будут вызывать в сети перекрестные ассоциации: предъявление сети вектора А приведет к появлению на её выходах вектора Б, и наоборот.

Дата добавления: 2014-01-15