Конкурирующая ДАП

Во многих конкурирующих нейронных системах наблю­даются некоторые виды конкуренции между нейронами. В нейронах, обрабатывающих сигналы от сетчатки, латераль­ное торможение приводит к увеличению выхода наиболее высокоактивных нейронов за счет соседних. Такие системы увеличивают контрастность, поднимая уровень активности нейронов, подсоединенных к яркой области сетчатки, в то же время еще более ослабляя выходы нейронов, подсоеди­ненных к темным областям.

В ДАП конкуренция реализуется взаимным соединением нейронов внутри каждого слоя посредством дополнительных связей. Веса этих связей формируют другую весовую мат­рицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элемен­тов. Теорема Кохен - Гроссберга [1] показывает, что такая сеть является безусловно стабильной, если весовые мат­рицы симметричны. На практике сети обычно стабильны даже в случае отсутствия симметрии весовых матриц. Однако неизвестно, какие особенности весовых матриц могут привести к неустойчивости функционирования сети.

ЗАКЛЮЧЕНИЕ

Ограниченная емкость памяти ДАП, ложные ответы и некоторая непредсказуемость поведения привели к рас­смотрению ее как устаревшей модели искусственных ней­ронных сетей. Этот вывод определенно является преждевременным. ДАП имеет много преимуществ: она совместима с аналого­выми схемами и оптическими системами; для нее быстро сходятся как процесс обучения так, и процесс восстанов­ления информации; она имеет простую и интуитивно прив­лекательную форму функционирования. В связи с быстрым развитием теории могут быть найдены методы, объясняющие поведение ДАП и разрешающие ее проблемы.

Глава 8 Адаптивная резонансная теория

Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из потока тривиальной информации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памя­ти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Это создает дилемму: каким образом па­мять остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гаран­тирующую, что образы не уничтожатся и не разрушатся в процессе функционирования? Традиционные искусственные нейронные сети оказа­лись не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу унич­тожает или изменяет результаты предшествующего обуче­ния. В некоторых случаях это не существенно. Если име­ется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обуча­ющий вектор, он может изменить веса настолько, что потребуется полное переобучение сети. В реальной ситуации сеть будет подвергаться посто­янно изменяющимся воздействиям; она может никогда не увидеть один и тот же обучающий вектор дважды. При таких обстоятельствах сеть часто не будет обучаться; она будет непрерывно изменять свои веса, не достигая удовлетворительных результатов. Более того, в работе [1] приведены примеры сети, в которой только четыре обучающих вектора, предъявляемых циклически, заставляют веса сети изменяться непрерывно, никогда не сходясь. Такая временная нестабильность явилась одним из главных факторов, заставивших Гроссберга и его сотрудников исследовать радикально отличные конфигурации. Адаптивная резонансная теория (APT) явля­ется одним из результатов исследования этой проблемы [2,4]. Сети и алгоритмы APT сохраняют пластичность, необ­ходимую для изучения новых образов, в то же время пре­дотвращая изменение ранее запомненных образов. Эта способность стимулировала большой интерес к APT, но многие исследователи нашли теорию трудной для понима­ния. Математическое описание APT является сложным, но основные идеи и принципы реализации достаточно просты для понимания. Мы сконцентрируемся далее на общем опи­сании APT; математически более подготовленные читатели смогут найти изобилие теории в литературе, список кото­рой приведен в конце главы. Нашей целью является обес­печение достаточно конкретной информацией, чтобы чита­тель мог понять основные идеи и возможности, а также провести компьютерное моделирование с целью исследова­ния характеристик этого важного вида сетей.

Дата добавления: 2014-01-15