Непрерывные сети Хопфилда

Устойчивость сети Хопфилда

Веса соединений между слоями в этой сети могут рассматриваться в виде матрицы W. Сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали. Т.е. wij = wji и wii=0, для всех i и j.

Устойчивость такой сети доказывается с помощью следующего математического метода. Допустим, что найдена функция, которая всегда убывает при изменении состояния сети. В конце концов, эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Такая функция, называемая функцией Ляпунова, для рассматриваемых сетей с обратными связями может быть введена следующим образом:

E = (-1/2)Si Sjwij OUTi OUTj-SjIjOUTj+SjTjOUTj, (16)

где

E - искусственная энергия сети;

wij - вес от выхода нейрона i к входу нейрона j;

OUTj - выход нейрона j;

Ij - внешний вход нейрона j;

Tj - порог нейрона j.

Изменение энергии Е, вызванное изменением состояния j-го нейрона, есть

dE = [S(wij OUTi)+Ij-Tj]dOUTj, i ¹ j

dE = -[NETj-Tj ]dOUTj, (17)

где

dOUTj - изменение выхода j-го нейрона.

Допустим, что величина NET нейрона j больше порога. Тогда выражение в скобках будет положительным, а из уравнения (14) следует, что выход нейрона j должен измениться в положительную сторону (или не измениться). Это значит, что dOUTj может быть только положительным или нулем и dE должно быть отрицательным. Следовательно, энергия сети должна либо уменьшиться, либо остаться без изменения.

Далее, допустим, что величина NET меньше порога. Тогда величина dOUTj может быть только отрицательной или нулем. Следовательно, опять энергия сети должна либо уменьшиться, либо остаться без изменения.

И окончательно, если NET равна порогу, dj равна нулю и энергия остается без изменения.

Это показывает, что любое изменение состояния нейрона либо уменьшает энергию, либо оставит ее без изменения. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекратить изменение. По определению такая система является устойчивой.

Системы с непрерывной активационной функцией F точнее моделируют биологический нейрон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е. wij = wji и wii=0, для всех i и j.

Если l велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба. С уменьшением l устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения l к нулю.

Дата добавления: 2014-01-11