Методы обучения искусственных нейронных сетей

Этапы построения искусственных нейронных сетей

– необходимо формализировать имеющуюся информацию, преобразовать из аналоговой в цифровую, а затем наоборот.

– убедиться в том, что выходной вектор содержит полный ответ задачи.

– убедиться, что по входной информации можно точно дать ответ на выходе (функция перцептрона однозначна).

– выбрать функцию активизации. Это определяется спецификой задачи.

– необходимо выбрать число слоев нейронов и число самих нейронов. Количество слоев определяется способностью к запоминанию информации и ее реализации.

– задать начальное значение весовых коэффициентов.

– обучение нейронной сети.

– проверка результатов (работы сети).

Методы обучения бывают с учителем и без учителя. Если сеть обучалась с учителем, то она способна к обобщениям. Большинство методов обучения итерационные (нет конкретной функции, с помощью которой можно получить желаемый результат). Теорема существования решения: нейронная сеть может решать любую задачу, если структура сети выбрана правильно.

Обучение с учителем. Оно предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, разность (ошибка) с помощью обратной связи подается в сеть и веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.

Алгоритмы обучения с учителем:

1. Инициализация весов.

2. Передача образа.

3. Расчет ошибки.

4. Изменение и для уменьшения ошибки.

Обучение без учителя. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы.

Применяются следующие методы безусловной оптимизации:

1. Стабилизирующие методы Ньютона, Гаусса – Ньютона, Левинберга – Маркардта.

2. Квазиньтоновские методы.

3. Методы сопряженных градиентов.

Скорость обучения показывает на сколько сильно корректируем веса на каждом этапе обучения. Нейронная сеть, таким образом, может обучаться последовательно.

Существуют генетические алгоритмы обучения (когда некоторую начальную форму размножают, делают мутации и выбирают наиболее успешное “потомство”) и методы имитации отжига (отжиг – закаливание металла. По аналогии, имитируют ослабление в связях).

Дата добавления: 2014-01-11