Термодинамические системы

Сети Хопфилда и машина Больцмана

Непрерывные системы

В работе [7] рассмотрены модели с непрерывной активационной функцией F, точнее моделирующей биологический нейрон. В общем случае это S-образная или логис­тическая функция

F(x) = 1 / (1+ exp(-lNET)) (6.6)

где l - коэффициент, определяющий крутизну сигмоидальной функции. Если l велико, F приближается к описанной ранее пороговой функции. Небольшие значения l дают более пологий наклон. Как и для бинарных систем, устойчивость гарантиру­ется, если веса симметричны, т.е. w_ij =w_ji и w_ii=0 при всех i. Функция энергии, доказывающая устойчивость подобных систем, была сконструирована, но она не рас­сматривается здесь из-за своего концептуального сходст­ва с дискретным случаем. Интересующиеся читатели могут обратиться к работе [2] для более полного рассмотрения этого важного предмета. Если l велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба. С умень­шением l устойчивые точки удаляются от вершин, последо­вательно исчезая по мере приближения l к нулю. На рис. 6.3 показаны линии энергетических уровней непре­рывной системы с двумя нейронами.

Недостатком сетей Хопфилда является их тенденция стабилизироваться в локальном, а не глобальном минимуме функции энергии. Эта трудность преодолевается в основ­ном с помощью класса сетей, известных под названием машин Больцмана, в которых изменения состоянии нейронов обусловлены статистическими, а не детерминированными закономерностями. Существует тесная аналогия между этими методами и отжигом металла, поэтому и сами методы часто называют имитацией отжига.

Металл отжигают, нагревая его до температуры, превышающей точку его плавления, а затем давая ему медленно остыть. При высоких температурах атомы, обла­дая высокими энергиями и свободой перемещения, случай­ным образом принимают все возможные конфигурации. При постепенном снижении температуры энергии атомов умень­шаются, и система в целом стремится принять конфигура­цию с минимальной энергией. Когда охлаждение завершено, достигается состояние глобального минимума энергии.

Рис 6.3. Линии энергетических уровней.

При фиксированной температуре распределение энергий системы определяется вероятностным фактором Больцмана.

ехр(-E / kT),

где Е - энергия системы; k - постоянная Больцмана; Т -температура. Отсюда можно видеть, что имеется конечная вероятность того, что система обладает высокой энергией даже при низких температурах. Сходным образом имеется не­большая, но вычисляемая вероятность, что чайник с водой на огне замерзнет, прежде чем закипеть. Статистическое распределение энергий позволяет системе выходить из локальных минимумов энергии. В то же время вероятность высокоэнергетических состояний быстро уменьшается со снижением температуры. Следова­тельно, при низких температурах имеется сильная тенден­ция занять низкоэнергетическое состояние.

Дата добавления: 2014-01-15