Эволюция весов связей

Эволюционный подход к обучению нейронных сетей состоит из двух основных этапов. Как указывалось во введении к п. 4.12.7, пер­вый из них - это выбор соответствующей схемы представления весов связей. Он заключается в принятии решения - можно ли кодировать эти веса двоичными последовательностями или требуется какая-то другая форма. На втором этапе уже осуществляется сам процесс эво­люции, основанный на генетическом алгоритме.

После выбора схемы хромосомного представления генетичес­кий алгоритм применяется к популяции особей (хромосом, содержа­щих закодированное множество весов нейронной сети) с реализаци­ей типового цикла эволюции, состоящего из четырех шагов.

1) Декодирование каждой особи (хромосомы) текущего поколе­
ния для восстановления множества весов и конструирование соот­
ветствующей этому множеству нейронной сети с априорно заданной
архитектурой и правилом обучения.

2) Расчет общей среднеквадратичной погрешности между фак­
тическими и заданными значениями на всех выходах сети при подаче
на ее входы обучающих образов. Эта погрешность определяет при­
способленность особи (сконструированной сети); в зависимости от
вида сети функция приспособленности может быть задана и другим
образом.

3) Репродукция особей с вероятностью, соответствующей их
приспособленности, либо согласно их рангу (в зависимости от спосо­
ба селекции - например, по методу рулетки или ранговому методу).

4) Применение генетических операторов - таких как скрещива­
ние, мутация и/или инверсия для получения нового поколения.

Блок-схема, иллюстрирующая эволюцию весов, представлена на рис. 4.119. В соответствии с этой схемой были рассчитаны веса для нейронной сети, реализующей систему XOR с помощью програм­мы Evolver (примеры 4.23 - 4.27) и с помощью программы FlexTool (пример 4.20). В соответствии с первым этапом типового цикла эво­люции априорно задаются и остаются неизменными архитектура се-

Глава 4. Генетические алгоритмы

4.72. Эволюционные алгоритмы в нейронных сетях

Генотип -> Фене

| / Множество нейронных сетей / j | / с заданными весами j j J

Расчет абсолютной среднеквадратичной погрешнос

/ Значение функции приспособленное ж каждой хромосомы в популяции

Рис. 4.119. Блок-схема генетического алгоритма поиска наилучшего набора в(нейронной сети (случай эволюции весов)

ти, определяющая количество слоев, число нейронов в каждом слое и топологию межнейронных связей, а также правило обучения сети. Приспособленность каждой особи (генотипа) оценивается значением среднеквадратичной погрешности, рассчитанной по соответствующей этой особи нейронной сети (фенотипу).

В представленном процессе эволюционного обучения реализу­ется режим так называемого пакетного обучения (batch training mode), при котором значения весов изменяются только после предъявления сети всех обучающих образов. Такой прием отличается от применяе­мого в большинстве последовательных алгоритмов обучения - на­пример, в методе обратного распространения ошибки веса уточняют­ся после предъявления сети каждой обучающей выборки.

Рассмотрим более подробно первый этап эволюционного под­хода к обучению, связанный с фиксацией схемы представления ве­сов. Как уже отмечалось, необходимо выбрать между бинарным пред­ставлением и кодированием весов действительными числами. Поми­мо традиционного двоичного кода, может применяться код Грея, лога­рифмическое кодирование (см. п. 4.8.4) либо другие более сложные формы записи данных [3]. В роли ограничителя выступает требуемая точность представления значений весов. Если для записи каждого ве­са используется слишком мало битов, то обучение может продол­жаться слишком долго и не принести никакого эффекта, поскольку точность аппроксимации отдельных комбинаций действительных зна­чений весов дискретными значениями часто оказывается недостаточ­ной. С другой стороны, если используется слишком много битов, то двоичные последовательности, представляющие нейронные сети большой размерности, оказываются очень длинными, что сильно уд­линяет процесс эволюции и делает эволюционный подход к обучению нерациональным с практической точки зрения. Вопрос оптимизации количества битов для представления конкретных весов все еще оста­ется открытым [47].

Для устранения недостатков схемы двоичного представления данных было предложено задавать значения весов действительными числами, точнее - каждый вес описывать отдельным действительным числом [2, 12, 35]. Такой способ кодирования реализован, в частнос­ти, в программе Evolver [49]. Он использовался при решении приме­ров 4.23 - 4.27,

Стандартные генетические операторы, разработанные для схе­мы двоичного представления данных, могут применяться и в случае задания весов двоичными числами, однако для большей эффектив­ности эволюционного алгоритма и ускорения его выполнения созда­ны специальные генетические операторы.

Дата добавления: 2015-06-04