Обучение

Обучить нейронную сеть значит сообщить ей чего мы от нее добиваемся. Этот процесс напоминает тренировку в смотре или обучение ребенка алфавиту. Показав ребенку изображение буквы А мы спрашиваем какая это буква? Если ответ неверен, то нужно ему сообщить, что это буква А. Ребенок запоминает ответ и пример и в его памяти происходят некоторые изменения в нужном направлении. Будем повторять процесс пока буквы не запомнятся. Такой процесс называется обучение с учителем. Процесс обучения нейронной сети показан на рисунке.

Оказывается, что после многократного предъявление примеров веса сети стабилизируются, при чем сеть дает правильные ответы на все или почти все примеры из базы данных. В таком случае говорит, что сеть обучена или натренирована, в программе редакции можно увидеть, что в процессе обучения функции ошибки постепенно уменьшаются. Обучение останавливается, когда функция ошибки достигает приемлемого малого уровня.

Математическая постановка процесса обучения нейронной сети имеет вид, в процессе функционирования нейронная сеть формирует выходной сигнал 0- ответ, в соответствии с входным сигналом x, реализуя некоторую функцию G(x)

0=G(x)

Если архитектура сети задана, то вид функции G определяется значениями синоптических весов и смещений в сети.

Пусть решением является функция Y=F(x) заданная параметрами входных и выходных данных.

(x¹, y¹)

(x², y²)

(x^N, y^N), для которого Y^К=F(x^K) при k=1….N

Обучения состоит в поиске (синтезе) функции G близкой к F в некоторой функции ошибки E.

Если выборочное множество обучают примерно (x^k, y^k), k=1….N, и способ вычисления функции ошибки E, то обучение сети превращается в задачу многомерной оптимизации, имеющих очень большую размерность, при этом поскольку функция E может иметь произвольный вид обучения в общем случае многоэкспертная полная невыпуклая задача оптимизации.

Для решения этой задачи может быть следующие итерационные алгоритмы

· алгоритмы панельной оптимизацией с вычислением частных производных 1-го порядка, сюда относятся градиетный алгоритм (метод скорейшего спуска), методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента, метод сопряженных градиентов,

· алгоритмы панельной оптимизации 1-го и второго порядка, метод Ньютона, Квази-Ньютоновские метод

· Стохастичные алгоритмы оптимизации: поиск в случайном направлении, метод Монте_Карло

· алгоритмы глобальной оптимизации: метод перебора значения переменной, от которого зависит целевая функция.

Дата добавления: 2015-06-27