Эволюция правил обучения

Известно, что для различных архитектур и задач обучения тре­буются различные алгоритмы обучения. Поиск оптимального (или почти оптимального) правила обучения, как правило, происходит с учетом экспертных знаний и часто - методом проб и ошибок. Поэто­му весьма перспективным считается развитие автоматических мето­дой оптимизации правил обучения нейронных сетей. Развитие чело­веческих способностей к обучению от относительно слабых До весь­ма сильных свидетельствует о потенциальной возможности примене­ния эволюционного подхода в процессе обучения искусственных ней­ронных сетей.

Схема хромосомного представления в случае эволюции пра­вил обучения должна отражать динамические характеристики. Стати­ческие параметры (такие как архитектура или значения весов сети) кодировать значительно проще. Попытка создания универсальной схемы представления, которая позволила бы описывать произволь­ные виды динамических характеристик нейронной сети, заведомо об­речена на неудачу, поскольку предполагает неоправданно большой объем вычислений, требуемых для просмотра всего пространства правил обучения. По этой причине на тип динамических характерис­тик обычно налагаются определенные ограничения, что позволяет выбрать общую структуру правила обучения. Чаще всего устанавли-

Рис. 4.121. Блок-схема генетического алгоритма для поиска наилучшей архитектуры нейронной сети (случай эволюции архитектур).

4.13. Эволюционные алгоритмы для обучения нейронных сетей

вается, что для всех связей нейронной сети должно применяться од­но и то же правило обучения, которое может быть задано функцией вида [47]

',.'2......

(4.18)

Н

где f - время, A_w - приращение веса, х,у - так называемые локальные
переменные, в_ц,\_г,„ - вещественные коэффициенты.

Главная цель эволюции правил обучения заключается в подбо­
ре соответствующих значений коэффициентов в,у₂;„.

С учетом большого количества компонентов уравнения (4.18), что может сделать эволюцию слишком медленной и практически не­эффективной, часто вводятся дополнительные ограничения, осно­ванные на эвристических посылках [6].

Представим типовой цикл эволюции правил обучения

1) Декодирование каждой особи текущей популяции для опи­
сания правила обучения, которое будет использоваться в качестве
алгоритма обучения нейронных сетей

2) Формирование множества нейронных сетей со случайно
сгенерированными архитектурами и начальными значениями весов,
а также оценивание этих сетей с учетом их обучения по правилу, по­
лученному на шаге 1, в категориях точности обучения или тестирова­
ния, длительности обучения, сложности архитектуры и т.п.

3) Расчет значения приспособленности каждой особи (закоди­
рованного правила обучения) на основе полученной на шаге 2 оцен­
ки каждой нейронной сети, что представляет собой своеобразный вид
взвешенного усреднения.

4) Репродукция особей с вероятностью, соответствующей их
приспособленности или рангу в зависимости от используемого мето­
да селекции

5) Формирование нового поколения в результате применения
таких генетических операторов, как скрещивание, мутация и/или ин­
версия.

Блок-схема, иллюстрирующая эволюцию архитектур, пред­ставлена на рис. 4.122.

4.13. Примеры моделирования эволюционных алгоритмов в приложении к нейронным сетям

Представленные в п. 4.11.1 примеры 4.23 - 4.27, а также при­мер 4.20 из разд. 4.9 можно рассматривать как иллюстрацию возмож­ности применения генетического (в частности, эволюционного) алго­ритма для подбора весов нейронной сети. Этот алгоритм будет при­меняться в перечисленных примерах вместо традиционного метода обучения, например, вместо алгоритма обратного распространения ошибки (backpropagation). Очень часто применяется так называемый гибридный подход, состоящий в объединении обоих методов. Как

Расчет функции прнспособл ниости

каждой хромосомы (закодированного прав обучения)

Рис. 4.122. Блок-схема генетического алгоритма для поиска наилучшего правила обучения (случай эволюции правил обучения).

Глава 4. Генетические алгоритмы

4.13. Эволюционные алгоритмы для обучения нейронных сетей

правило, вначале при помощи генетического алгоритма находится ре­шение, достаточно близкое к оптимальному, и затем оно рассматри­вается как отправная точка для традиционного поиска оптимальной точки, например, по методу обратного распространения ошибки.

Дата добавления: 2015-06-04