Эволюция архитектуры сети

В п. 4.12.7.1 при рассмотрении эволюционного обучения ней­ронных сетей предполагалось, что архитектура сети задается априор­но и не изменяется в процессе эволюции весов. Однако сохраняет ак-

Глава 4. Генетические алгоритмы

4.12. Эволюционные алгоритмы в нейронных сетях

туальность вопрос - как выбрать архитектуру сети? Известно, что ар­хитектура оказывает решающее влияние на весь процесс обработки информации нейронной сетью. К сожалению, чаще всего она подби­рается экспертами методом проб и ошибок. В таких условиях способ оптимального (или почти оптимального) проектирования архитектуры нейронной сети для конкретной задачи оказался бы очень полезным. Один из возможных подходов заключается в эволюционном форми­ровании архитектуры с применением генетического алгоритма.

Также как и в случае эволюционного обучения, на первом эта­пе эволюционного проектирования архитектуры принимается реше­ние относительно соответствующей формы ее описания. Однако в данной ситуации проблема не связана с выбором между двоичным и вещественным представлением (т.е. действительными числами), поскольку речь может идти только о дискретных значениях. Необхо­димо выбрать более общую концептуальную структуру представле­ния данных, например, в форме матриц, графов и т.п. Ключевой во­прос состоит в принятии решения о количестве информации об архи­тектуре сети, которая должна кодироваться соответствующей схемой. С одной стороны, полная информация об архитектуре может непо­средственно кодироваться в виде двоичных последовательностей, т.е. каждая связь и каждый узел (нейрон) прямо специфицируется оп­ределенным количеством битов. Такой способ представления назы­вается схемой непосредственного кодирования. С другой стороны, могут представляться только важнейшие параметры или свойства ар­хитектуры - такие как количество узлов (нейронов), количество свя­зей и вид переходной функции нейрона. Этот способ представления называется схемой косвенного кодирования. Существуют и другие названия указанных способов представления данных, например, вме­сто «непосредственного кодирования» встречается термин сильная схема спецификации, а вместо «косвенного кодирования» - слабая схема классификации [34]

Схема непосредственного кодирования означает, что каж­дая связь нейронной сети непосредственно задается его двоичным представлением [34, 38, 45]. Матрица С размерностью п*п, С = Щ_п*_п может представлять связи нейронной сети, состоящей из п узлов (нейронов), причем значение с,у определяет наличие или отсутствие связи между /-м иу-м нейронами. Если с,у = 1, то связь существует, ес­ли Qj = 0, то связь отсутствует. При таком подходе двоичная последо­вательность (хромосома), представляющая связи нейронной сети, имеет вид комбинации строк (или столбцов) матрицы С. Пример рассматриваемого способа кодирования для п = 5 приведен на рис. 4.120. Если значение п обозначает количество нейронов в сети, то связи между этими нейронами будут представляться двоичной по­следовательностью, имеющей длину п². Очевидный недостаток тако­го способа кодирования заключается в стремительном увеличении длины генотипа при расширении нейронной сети. Однако в обсужда­емую схему представления можно легко внести ограничения, которые сократят длину хромосом [34]. В частности, могут приниматься во внимание только однонаправленные связи, что позволит учитывать

Матрица связей: 0 0 1 10" 0 0 110 0 0 0 0 1 0 0 0 0 0 0 0 0 0

Хромосома.
Нейронная сеть [ООПОООПОООООЮОООЮОООО]

Рис. 4.120. Пример непосредственного кодирования матрицы связей для нейронной сети.

только те элементы матрицы С, которые задают связи данного узла (нейрона) со следующим узлом. В этом случае хромосома для приме­ра на рис. 4.120 будет иметь вид 0110110011.

Схема непосредственного кодирования может одновременно примяться для определения как связей, так и их весов. Этот способ кодирования применяется, главным образом, для небольших нейрон­ных сетей.

Схема косвенного кодирования - это способ сокращения длины описания связей, который заключается в кодировании только наиболее важных свойств, но не каждой связи нейронной сети [20, 25, 32]. По этой причине заметным достоинством схемы косвенного коди­рования становится компактное представление связей. Такая схема выглядит более обоснованной с биологической точки зрения. Соглас­но современной нейрологии, невозможно прямо и независимо опи­сать закодированной в хромосомах генетической информацией всю нервную систему. Такой вывод следует, например, из факта, что гено­тип человека состоит из гораздо меньшего количества генов, чем чис­ло нейронов в его мозге.

Известны различные методы косвенного кодирования [39, 47].

Второй этап эволюционного проектирования архитектуры ней­ронной сети состоит (в соответствии с типовым циклом эволюции) из следующих шагов:

1) Декодирование каждой особи текущей популяции для опи­
сания архитектуры нейронной сети.

2) Обучение каждой нейронной сети с архитектурой, получен­
ной на первом шаге, с помощью заранее заданного правила (некото­
рые его параметры могут адаптивно уточняться в процессе обуче­
ния). Обучение должно начинаться при различных случайно выбира­
емых начальных значениях весов и (при необходимости) параметров
правила обучения.

3) Оценивание приспособленности каждой особи (закодиро­
ванной архитектуры) по достигнутым результатам обучения, т.е. по
наименьшей целой среднеквадратичной погрешности обучения либо
на основе тестирования, если наибольший интерес вызывает способ-

Глава 4. Генетические алгоритмы

4.12. Эволюционные алгоритмы е нейронных с

ность к обобщению, наименьшая длительность обучения или упроще­ние архитектуры (например, минимизация количества нейронов и связей между ними).

4) Репродукция особей с вероятностью, соответствующей их
приспособленности или рангу в зависимости от используемого мето­
да селекции.

5) Формирование нового поколения в результате применения
таких генетических операторов, как скрещивание, мутация и/или ин­
версия.

Блок-схема, иллюстрирующая эволюцию архитектур, пред­ставлена на рис. 4.121. —

Если говорить об обучении сети (шаг 2), то наиболее часто встречается развитие топологии однонаправленных сетей с примене­нием алгоритма обратного распространения ошибки с целью локаль-иого обучения. Известны работы, в которых описывается применение генетического алгоритма для одновременной адаптации и весов и то­пологии [18, 30]. В других исследованиях допускались соединения в пределах одного слоя [34, 45], обратные связи [23], а также обуче­ние на основе конкуренции (competetive learning) и по Хеббу.

Достоинством эволюционного подхода считается тот факт, что функцию приспособленности можно легко определить специально для эволюции сети со строго определенными свойствами. Например, если для оценивания приспособленности использовать результаты тестирования вместо результатов обучения, то будет получена сеть с лучшей способностью к обобщению [38].

Дата добавления: 2015-06-04