Математическое описание процесса обучения с учителем

Обучение с учителем

Большинство моделей нейронных сетей предусматривает присутствие учителя. Под учителем может пониматься совокупность тренировочных данных (обучающее множество) или внешний наблюдатель, который определяет значение выхода.

Нейронные сети, обучаемые с учителем, представляют собой средства для извлечения из набора данных информации о взаимосвязях между выходами и входами нейронной сети. Качество нейронной сети зависит от предъявляемых ей в процессе обучения набора учебных данных, при этом учебные данные должны быть типичными для задачи, решению которой обучается нейронная сеть.

Данные, которые обычно используются для обучения нейронной сети, часто разделяются на 2 категории:

одни данные используются для обучения, а другие для тестирования. По этому качество обучения сети на прямую зависит от количества примеров в обучающей выборке и от того, на сколько эти примеры описывают решаемую задачу.

Нейронная сеть в процессе функционирования формирует выходной сигнал в соответствии c входным сигналом . При этом реализуется функция .

В случае когда архитектура нейронной сети задана видом функции определяется значение синоптических коэффициентов и смещения сети. Допусти, что решением некоторой задачи является функция, заданная парами входных и выходных данных

Обучения нейронных сетей состоит в нахождении (синтезе) функции близкой к в смысле некоторой функции ошибки Е.

Функция Е называется не вязкой или целевой функцией или функцией стоимости. Если выбраны множество обучающих примеров-пар ,.. K=1, N и способов вычисления функции ошибки Е, то обучение нейронной сети это задача многомерной оптимизации.

График невязки Е рассматриваемой как функции синоптических весов представляет собой поверхность многомерном пространстве весов. Это поверхность из-за нелинейности функции активации будет иметь плоские участки, локальные минимумы, седловые точки, овраги. Процедура активизации состоит в отыскании глобального минимума, достижение его называется сходимостью процесса обучения.

Поиск глобального минимума осуществляется с помощью алгоритма обучения – итерационного процесса, который исследует поверхность функции ошибки Е и стремится найти на ней точку глобального минимума.

Дата добавления: 2014-01-06