Генетические алгоритмы для поддержки нейронных сетей

Нейронные сети для поддержки генетических алгоритмов

Большинство исследователей изучали возможности примене ния генетических алгоритмов для обеспечения работы нейронных се-

тей. К немногочисленным обратным случаям относится гибридная сие тема, предназначенная для решения задачи трассировки [26, 27], которая классифицируется в [39] как пример вспомогательного объе­динения нейронных сетей и генетических алгоритмов. В этой системе генетический алгоритм используется в качестве оптимизационной процедуры, предназначенной для нахождения кратчайшего пути. Нейронная сеть применяется при формировании исходной популяции для генетического алгоритма. Этот подход схематичиески иллюстри­руется на рис. 4.117.

Подход, основанный на использовании генетического алгорит­ма для обеспечения работы нейронной сети, схематически представ­лен на рис. 4.118. Известно множество работ, посвященных подобно­му объединению рассматриваемых методов. Можно выделить три об­ласти проблем [39]:

- применение генетического алгоритма для подбора парамет­ров либо преобразования пространства параметров, используемых нейронной сетью для классификации;

-применение генетического алгоритма для подбора правила обучения либо параметров, управляющих обучением нейронной сети;

Нейронная сеть

Нейронная сеть

(например, исходная популяция)

Генетический алгоритм

Рис. 4.116. Генетический алгоритм и нейронная сеть независимо применяются для решения одной и той же задачи.

Рис. 4.117. Вспомогательное объединение нейронной сети с генетическим алгоритмом.

Глава 4. Генетические алгоритмы

4.12. Эволюционные алгоритмы в нейронных сетях

Генетический алгоритм

Данные (например, начальные веса)

Решение ie объединение генетического алгоритма с нейронной

Рис. 4.118. Вспомоп

- применение генетического алгоритма для анализа нейронной сети.

Две первые области приложения генетических алгоритмов в нейронных сетях, вообще говоря, позволяют улучшать функциони­рование сетей (т.е. решают проблему синтеза), тогда как третья слу­жит для анализа их функционирования. Начнем обсуждение с по­следней позиции.

Анализ нейронных сетей. Некоторые исследователи приме­няли генетические алгоритмы в качестве вспомогательного инстру­мента для выяснения закономерностей функционирования нейрон­ных сетей либо анализа эффективности их работы [5, 10, 11, 42]. Ге­нетический алгоритм использовался для построения «инструмен­тальной системы», облегчающей понимание функционирования сети - попросту говоря, для выяснения, что и почему делает сеть. Такое понимание необходимо для того, чтобы нейросетевой классификатор не воспринимался в качестве «черного ящика», который формирует ответ неким таинственным образом, и чтобы решения по классифика­ции объектов были объяснимыми. Подобный «инструментарий» (explanation facilities) используется в большинстве экспертных систем. Построение этих инструментов для их применения в нейронных сетях считается более масштабной проблемой, относящейся к анализу се­тей [11]. Генетический алгоритм применялся для построения так на-

к кодовых векторов (codebook vectors), представляющих со­бой входные сигналы, при которых функция активации конкретного выходного нейрона сети принимает максимальное или близкое к не­му значение. Входные векторы представлялись в хромосомах множе­ством вещественных чисел от 0,0 до 1,0. Анализировалась нейронная сеть, предназначенная для решения задачи классификации [10, 11]. Аналогичный подход применялся для сети ART1 (частного случая ART с двоичными входными сигналами) [5]. С помощью генетическо­го алгоритма также проводился анализ нейронной сети, используе­мой в качестве модели ассоциативного запоминающего устройства [42]. Приведенные примеры характеризуют вспомогательное объеди­нение генетических алгоритмов и нейронных сетей [39], хотя и не мо­гут считаться типичными по отношению к схеме, представленной на рис. 4.118

Подбор параметров либо преобразование пространства параметров. Генетический алгоритм используется при подготовке данных для нейронной сети, играющей роль классификатора. Эта подготовка может выполняться путем преобразования пространства параметров либо выделением некоторого подпространства, содержа­щего необходимые параметры

Первый из этих методов, так называемое преобразование про­странства параметров, применяется чаще всего в алгоритмах типа «ближайший сосед», хотя известны также его приложения в нейросе-тевых классификаторах [24]. Второй подход заключается в выделе­нии подмножества учитываемых параметров. Оказывается, что огра­ничение множества параметров часто улучшает функционирование нейронной сети в качестве классификатора и, к тому же, сокращает объемы вычислений. Подобное ограничение множества учитывае­мых нейронной сетью параметров применялось, в частности, для кон­троля сценариев происшествий на ядерных объектах [17], а также для распознавания китайских иероглифов [22]. Известны и другие примеры [39] подготовки данных для нейронных сетей при помощи ге­нетических алгоритмов.

Подбор параметров и правил обучения. Генетический алго­ритм также применяется для подбора параметров обучения - чаще всего скорости обучения (learning rate) и так называемого момента для алгоритма обратного распространения ошибки [3, 20, 38]. Такое адаптивное уточнение параметров алгоритма обратного распростра­нения (они кодируются в хромосомах) в результате эволюции может рассматриваться как первая попытка эволюционной модификации правил обучения [47]. Вместо непосредственного применения генети­ческого алгоритма для подбора параметров обучения развивается эволюционный подход, направленный на построение оптимального правила (алгоритма) обучения [6].

Эволюция правил обучения будет представлена в п. 4.12.7.3.

Заметим, что эволюционная концепция уже может рассматри­ваться как переход от вспомогательного к равноправному объедине­нию генетического алгоритма и нейронных сетей.

Глава 4. Генетические алгоритмы

4.12. Эволюционные алгоритмы в нейронных о

4.12.4. Применение генетических алгоритмов для обучения
нейронных сетей

Мысль о том, что нейронные сети могут обучаться с помощью генетического алгоритма, высказывалась различными исследовате­лями. Первые работы на эту тему касались применения генетическо­го алгоритма в качестве метода обучения небольших однонаправлен­ных нейронных сетей [44], но в последующем было реализовано при­менение этого алгоритма для сетей с большей размерностью [39].

Как правило, задача заключается в оптимизации весов нейрон­ной сети, имеющей априори заданную топологию. Веса кодируются в виде двоичных последовательностей (хромосом). Каждая особь по­пуляции характеризуется полным множеством весов нейронной сети. Оценка приспособленности особей определяется функцией приспо­собленности, задаваемой в виде суммы квадратов погрешностей, т.е. разностей между ожидаемыми (эталонными) и фактически получае­мыми значениями на выходе сети для различных входных данных.

Приведем два важнейших аргумента в пользу применения ге­нетических алгоритмов для оптимизации весов нейронной сети. Прежде всего, генетические алгоритмы обеспечивают глобальный просмотр пространства весов и позволяют избегать локальные мини­мумы. Кроме того, они могут использоваться в задачах, для которых информацию о градиентах получить очень сложно либо она оказыва­ется слишком дорогостоящей.

Эволюционному обучению нейронных сетей, т.е. эволюции ве­сов связей, посвящен п. 4.12.7.1.

4.12.5. Генетические алгоритмы для выбора топологии
нейронных сетей

В качестве наиболее очевидного способа объединения генети­ческого алгоритма с нейронной сетью интуитивно воспринимается по­пытка закодировать в генотипе топологию объекта (в рассматривае­мом случае - нейронной сети) с указанием количества нейронов и связей между ними при последующем определении весов сети с по­мощью любого известного метода [39].

Проектирование оптимальной топологии нейронной сети мо­жет быть представлено в виде поиска такой архитектуры, которая обеспечивает наилучшее (относительно выбранного критерия) реше­ние конкретной задачи. Такой подход предполагает перебор прост­ранства архитектур, составленного из всех возможных вариантов, и выбор точки этого пространства, наилучшей относительно заданно­го критерия оптимальности [49].

С учетом достоинств эволюционного проектирования архитек­туры в последние годы было выполнено большое количество иссле­дований [45, 20, 17], в которых основное внимание уделялось эволю­ции соединений нейронной сети, т.е. количества нейронов и тополо­гии связей между ними. Лишь в некоторых работах рассматривалась эволюция функций переходов, хотя эти функции считаются важным

элементом архитектуры и оказывают существенное влияние на функ­ционирование нейронной сети.

Также, как и в случае эволюционного обучения, первый шаг эволюционного проектирования архитектуры заключается в форми­ровании исходного множества рассматриваемых вариантов. Типовой цикл эволюции архитектур представлен в п. 4.12.7.2.

Дата добавления: 2015-06-04