Сеть Хэмминга

Лекция 10. Сеть Хэмминга. Двунаправленная ассоциативная память. Емкость памяти.

Свойства сети Хопфилда

Алгоритм обучения

Статистические сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении (14), то возникает система, имитирующая отжиг. Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

Ek = NETk - Qk, (18)

где

NETk - выход NET нейрона k;

Qk - порог нейрона k,

и

pk = 1/[1+exp(-dEk/T)], (19)

где

Т - искусственная температура.

В стадии функционирования искусственной температуре присваивается большое значение, нейроны устанавливаются в начальном состоянии, определяемом входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

Приписать состоянию каждого нейрона с вероятностью pk значение единица, а с вероятностью (1 - pk) - нуль.

Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

Для обучения сети Хопфилда могут использоваться несколько алгоритмов.

Базовое обучающее правило для сети Хопфилда имеет достаточно простой вид:

Dwij = (2xi - 1)(2xj - 1), (20)

где

wij - вес соединения между j-м и i-м процессорными элементами;

xi - выход текущего нейрона;

xj - вход нейрона;

xi и xj могут принимать значения только 0 или 1.

Правило обучения Хебба определяет формирование синаптических весов в сети следующим образом:

Wij = ∑Xi^k Xj^k, i≠j,

0, если i=j, i=1…N, j=1…N,

где M –количество векторов-образцов;

N – размерность входного сигнала;

Xjk – i-я компонента запоминаемого входного вектора k.

Приведенная ниже таблица демонстрирует формирование весовых коэффициентов в сети Хопфилда при использовании различных правил обучения.

Xi (выход)
Xj (вход)
Правило Хебба
Правило Хопфилда		-1	-1
Правило Анти-Хебб			-1

1. Емкость сети.

Теоретически сеть из n двоичных нейронов может иметь 2ⁿ состояний.

Экспериментально было показано, что в общем случае предельное значение емкости ближе к 0,15*n, а число состояний не может превышать n, что согласуется с наблюдениями над реальными системами и является наилучшей на сегодняшний день оценкой.

2. Перекрестные ассоциации.

Если два образа А и Б сильно похожи, то они, возможно, будут вызывать у сети перекрестные ассоциации: предъявление А приведет к появлению на выходе Б и наоборот.

3. Генерация «ложных образов».

Это устойчивый локальный экстремум энергии не соответствующий никакому образу. В некотором смысле, собирательный образ.

4. Хранение «негативных» образов.

Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой – сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти.

Дата добавления: 2014-01-11