С функцией пространственно-временной памяти

ДИНАМИЧЕСКАЯ НЕЙРОННАЯ СЕТЬ

Аннотация

Рассмотрена искусственная динамическая нейронная сеть, обладающая свойствами пространственно-временной ассоциативной памяти и легко обучаемая. Ядром сети является система динамических нейронов с изменяющимися межнейронными связями, выполняющая функции хранения пространственно-временных образов и формирования общей временной динамики сети. На основе результатов анализа и моделирования описаны различные режимы функционирования сети, соответствующие обучению, ассоциативному распознаванию, записи и генерации временных последовательностей образов.

В настоящее время одна из первоочередных задач, требующих своего решения – задача создания самообучающихся интеллектуальных систем с функцией пространственно-временной ассоциативной памяти. Пространственно-временная ассоциативность подразумевает использование как сходства образов (т.е. пространственной ассоциации), так и причинно-следственных связей между образами (т.е. временной ассоциации). Представляется естественным строить такие системы на основе искусственных нейронных сетей (НС).

Реальные «способности» предложенных НС-систем такого типа (например, [1-3]) выглядят пока довольно скромно. Одна из возможных причин недостатков предложенных НС – использование слишком простых моделей нейронов. Как правило, используемые нейроны служат только для нелинейного преобразования входных сигналов в выходной и не обладают собственной временной динамикой. В то же время известно [4], что большинство нейронов природных нейронных сетей являются генераторами импульсов, причем параметры импульсации определяются поступающими на вход нейрона сигналами (как правило, импульсами от других нейронов). Разумно и для искусственных НС использовать нейроны с собственной временной динамикой, что позволяет более эффективно использовать дополнительную «степень свободы» ‑ временную координату.

Здесь рассматривается простейшая НС с динамическими нейронами, способная выполнять функцию пространственно-временной ассоциативной памяти. Самообучаемая по своей сути, такая НС может послужить элементом для построения сложных иерархических систем искусственного интеллекта. Заметим, что принципы построения подобных систем неоднократно рассматривались ранее (например, в [1,2]).

Рассмотрим простейшую НС такого типа, состоящую из системы динамических нейронов, регулятора активности и слоя интерфейсных нейронов.

Ядром НС является система динамических нейронов с изменяющимися межнейронными связями, выполняющая функции хранения пространственно-временных образов (т.е. последовательностей образов) и формирования общей временной динамики НС.

Динамический нейрон является генератором импульсов, параметры импульсации определяются входными сигналами нейрона. Состояние нейрона характеризуем фазой (внутренним временем) q нейрона. Выходной сигнал нейрона yоднозначно определяется фазой: y=y(q). Функция y(q) задает форму генерируемого нейроном импульса. Для примера приведем функцию, удобную для моделирования

где frac (q) - операция выделения дробной части, 0< q ₁< q ₂<1. Функция y (q) периодическая с периодом 1. Согласно (1) выходное значение нейрона неотрицательно и ограничено (y £1). При этом значение y можно трактовать как степень активности нейрона (при y»0 нейрон заторможен, неактивен). По аналогии со многими природными нейронами потребуем, чтобы большую часть времени нейрон находился в неактивном состоянии. Это требование означает, что активность нейрона должна иметь импульсный характер.

Скорость изменения фазы определяется сигналами, поступающими на вход нейрона, и текущим значением фазы

где под x подразумевается совокупность входных сигналов x ^{( m )} (верхний индекс характеризует тип входного сигнала). Входной сигнал от динамических нейронов получается в результате суммирования выходных сигналов соседних динамических нейронов, умноженных на силы связей

где c_ij – сила связи от j -ого нейрона к i -ому (нижний индекс нумерует нейроны). Суммирование в (3) производится по всем динамическим нейронам, от которых идет связь к данному (i -ому) динамическому нейрону. Входной сигнал от интерфейсных нейронов x ^{( int )} является результатом суммирования выходных сигналов интерфейсных нейронов, умноженных на силы соответствующих связей, и записывается аналогично (3). Входной сигнал от регулятора активности равен выходному сигналу регулятора активности Y:

Запишем зависимость v (q, x) простейшего вида. Будем считать, что скорость изменения фазы зависит от входных сигналов только для нулевой активности нейрона, причем зависимость от входных сигналов факторизуется:

где v ₁, v ₂ - константы, а функции g₁, g₂, g₃ - функции одинакового вида, например,

,

но с разными коэффициентами a, q. При тормозящих входных сигналах (x <0) скорость изменения фазы близка к нулю, что соответствует очень медленному прохождению нейрона через фазу торможения. При увеличении x от нуля скорость растет, интервал между импульсами уменьшается, растет частота импульсации нейрона.

Связи между динамическими нейронами изменяются согласно дифференциальным уравнениям первого порядка, например,

Здесь коэффициент g описывает скорость затухания (забывания) информации, записанной в системе связей. Согласно (6) сила связи от j -ого нейрона к i -ому меняется в зависимости от выходных значений i -ого и j -ого нейронов. Для моделирования в качестве h можно взять кусочно-линейную функцию

.

где h ₁, h ₂ – положительные константы, y_thr – некоторое пороговое выходное значение нейрона, разделяющее состояния активности и торможения (на практике оно составляет 0,02…0,2 максимально возможного выходного значения). Функция h (y_i, y_j) положительна при y_i > y_thr и отрицательна при y_i < y_thr.

Регулятор активности служит для подавления активности лишних нейронов при превышении суммарной активностью динамических нейронов определенного порога. На регулятор активности поступают выходные значения всех динамических нейронов, которые суммируюся. Выходное значение Y регулятора активности получается в результате нелинейного преобразования (фактически сравнения с порогом) суммы. Значение Y отрицательно при превышении суммой некоторого порогового значения и положительно, если сумма меньше порога. Выходное значение Y передается всем динамическим нейронам.

Слой интерфейсных нейронов служит для преобразования внутреннего представления образов, формируемых системой динамических нейронов, в представление, удобное для потребителя, внешнего по отношению к данной НС, и для обратного преобразованию. Связи, формирующиеся в процессе функционирования НС между динамическими и интерфейсными нейронами, определяют соответствие между образами внешнего и внутреннего представлений. Связи между интерфейсными нейронами отсутствуют.

Интерфейсный нейрон похож на нейрон в перцептроне [5], возможно, с дополнительным временным интегрированием [6]. Однако, являясь входными нейронами НС, интерфейсные нейроны имеют два входа: внешний и внутренний. При подаче сигнала на внешний вход нейрона внутренний вход блокируется. Сигнал с внешнего входа напрямую передается на выход интерфейсного нейрона. На внутренний вход интерфейсного нейрона поступают сигналы от динамических нейронов.

Опишем особенности функционирования изучаемой НС, опираясь на результаты анализа и численного моделирования.

Система динамических нейронов (с участием регулятора активности) формирует систему собственных образов внутреннего представления. Между активными нейронами формируются возбуждающие связи, поддерживающие стабильность образа при последующей активизации части нейронов, составляющих данный образ. При h ₂>0 между активными и заторможенными, нейронами формируются тормозящие связи, но медленнее, чем возбуждающие. Такое соотношение между скоростями формирования связей обеспечивается неравенством h ₁<< h ₂, либо малостью y_thr по сравнению с амплитудой импульсов. Необходимость указанного соотношения возникает из потребности запоминать последовательности образов, что осуществляется путем формирования возбуждающих связей между частью нейронов одного образа и частью нейронов следующего образа. Это возможно в результате не совсем одновременных активизации и торможения нейронов образа – последние активные нейроны одного образа сосуществуют некоторое время с первыми активными нейронами следующего образа.

На самом деле набор образов системы динамических нейронов не остается неизменным. В известном смысле это – следствие конфликта между динамическими свойствами отдельных нейронов и консервативностью межнейронных связей. Периодический режим, при котором происходит повторение одной и той же последовательности образов является нетипичным. Более типична постепенная модификация образов, сопровождающаяся рождение новых образов, обрывами временных последовательностей образов, образование новых последовательностей из кусков старых.

При подаче сигналов на вход НС происходит формирование связей между динамическими и интерфейсными нейронами. Тем самым происходит обучение НС. Пусть на вход сети подан некоторый образ внешнего представления. При этом в системе динамических нейронов некоторое время существует один из образов внутреннего представления. Формирующиеся между динамическими и интерфейсными нейронами связи регистрируют ассоциацию между данными образами внешнего и внутреннего представлений. Возможно образование соответствия одного образа внешнего представления с несколькими образами внутреннего представления. В процессе дальнейшего функционирования НС может произойти перераспределение образов внутреннего представления, причем часто новый образ внешнего представления, отобравший у старого образа один или несколько образов внутреннего представления, оказывается достаточно близок (в смысле сходства) к старому образу.

Если сигнал на входе обученной НС отсутствует, система функционирует в соответствии с закономерностями системы динамических нейронов, модифицированными наличием взаимодействия между динамическими и интерфейсными нейронами. При появлении под влиянием текущего образа внутреннего представления на слое интерфейсных нейронов образа внешнего представления происходит усиление тех связей между динамическими и интерфейсными нейронами, которые обеспечивают соответствие между образами двух представлений. В то же время происходит постепенная модификация образов внутреннего представления и соответствующая ей перезапись связей. Это не позволяет межнейронным связям «закостенеть» и облегчает запись новых образов внешнего представления.

Если на вход обученной НС подается образ внешнего представления, близкий к одному из записанных образов, то динамические нейроны, составляющие соответствующий образ внутреннего представления, проходят стадию торможения ускоренными темпами и через некоторое время активизируются. В системе динамических нейронов появляется требуемый образ внутреннего представления. Происходит усиление связей между динамическими и интерфейсными нейронами, укрепляя соответствие между соответствующими образами внешнего и внутреннего представлений. После освобождения входа НС события могут развиваться по-разному в зависимости от прочности временных ассоциаций между последовательными образами внутреннего представления. В случае прочных ассоциативных связей текущий образ внутреннего представления вытягивает следующий за ним образ в сформированной ранее временной последовательности; таким образом, воспроизводится фрагмент прежней временной последовательности образов, начинающийся с определенного образа. Такое поведение можно рассматривать как проявление НС простейших свойств пространственно-временной ассоциативной памяти. В противоположном случае слабой временной ассоциации за текущим образом начинает воспроизводиться последовательность образов, которая была приостановлена в результате подачи образа на вход НС; при этом образы, соответствующие входному образу, переносятся из одного места временной последовательности в другое. Такой перенос образов можно использовать для формирования и модернизации временных последовательностей образов.

Если же на вход сети подается образ внешнего представления, далекий от всех записанных ранее образов, динамические нейроны не реагируют заметным образом на подачу этого образа. Однако при этом происходит перезапись связей между динамическими и интерфейсными нейронами, направленная на установление соответствия между входным образом и текущим или несколькими текущими образами внутреннего представления. Если эти образы внутреннего представления уже ассоциированы с другим образом внешнего представления, то происходит конкурентная борьба между двумя образами внешнего представления за обладание этими образами внутреннего представления. Итогом борьбы может быть победа одного из образов; мирный исход, когда часть образов внутреннего представления остается у старого образа внешнего представления, а часть отходит к новому; создание и запись образа внешнего представления, являющегося некоторым гибридом борющихся образов. Место записанного образа во временной последовательности образов внешнего представления определяется местом соответствующего образа внутреннего представления в сформированной последовательности.

Заметим, что использование системы локальных связей между динамическими нейронами вместо полной (или умеренно разреженной) системы накладывает более жесткие ограничения на значения параметров сети для реализации различных режимов функционирования. При этом оказывается, что практически невозможно найти набор параметров, пригодный для всех режимов. Смена режима требует изменения параметров, что подразумевает необходимость внешнего управления параметрами. Кроме того, локальность связей означает наличие дополнительного пространственного отношения на множестве динамических нейронов (отношение соседства), приводящего к таким особенностям генерируемого причинно-следственного потока, как отсутствие однозначности, относительно малая связность, расщепление на более мелкие потоки.

Итак, рассмотренная НС, несомненно, обладает свойствами пространственно-временной ассоциативной памяти, она легко и быстро обучается и переобучается. Принципы, лежащие в основе ее работы и взятые в большинстве своем у природы, являются весьма перспективными с точки зрения создания систем искусственного интеллекта будущего. К таким принципам относятся: динамические нейроны, описываемые системами нелинейных дифференциальных уравнений второго порядка; меняющиеся связи, описываемые (в данной модели) простыми дифференциальными уравнениями первого порядка; использование нейронов нескольких функциональных типов; использование регулятора активности нейронных подсистем (в данном случае с помощью одного особого нейрона – регулятора активности); наличие у нейронов нескольких входов.

Мы не пытались создать сразу систему искусственного интеллекта, а ставили целью изучить достаточно простую динамическую НС, основанную на указанных принципах, и на ее примере понять роль этих принципов и выработать представления, пригодные для описания динамических НС подобного типа. Такие представления позволят эффективно описывать более сложные структурированные НС не на уровне отдельных нейронов, а на уровне отдельных блоков – нейронных подсистем.

Дата добавления: 2015-06-04