Лекция №5. Математическое описание процесса обучения с учителем

Математическое описание процесса обучения с учителем.

Ошибка велика

Расчёт ошибки

Выбор примера

Применение нейронной сети

Сеть обучена

База данных

Подстройка весов сети

Ошибка мала

Ответ сети

Рис. 4

Схематическое изображение процесса обучения с учителем нейронной сети

Нейронная сеть в процессе функционирования формирует выходной сигнал в соответствии c входным сигналом. При этом реализуется функция.

В случае когда архитектура нейронной сети задана видом функции определяется значение синоптических коэффициентов и смещения сети. Допусти, что решением некоторой задачи является функция, заданная парами входных и выходных данных

Обучения нейронных сетей состоит в нахождении (синтезе) функции близкой к в смысле некоторой функции ошибки Е.

Функция Е называется не вязкой или целевой функцией или функцией стоимости. Если выбраны множество обучающих примеров-пар,.. K=1, N и способов вычисления функции ошибки Е, то обучение нейронной сети это задача многомерной оптимизации.

График невязки Е рассматриваемой как функции синоптических весов представляет собой поверхность многомерном пространстве весов. Это поверхность из-за нелинейности функции активации будет иметь плоские участки, локальные минимумы, седловые точки, овраги. Процедура активизации состоит в отыскании глобального минимума, достижение его называется сходимостью процесса обучения.

Поиск глобального минимума осуществляется с помощью алгоритма обучения – итерационного процесса, который исследует поверхность функции ошибки Е и стремится найти на ней точку глобального минимума.

Обучение с учителем

При обучении нейронных сетей с учителем важную роль играет выбор меры ошибки, которая соответствует сути задачи.

Удачный выбор меры погрешности упрощает задачу обучения нейронной сети, так как обычно приводит к более гладкой поверхности невязки. Часта, в качестве меры погрешности берётся средняя квадратичная ошибка. Она определяется как сумма квадратов разности между желаемой величиной выхода “dk” и реально полученными на нейронной сети значениями “yk” для каждого примера K.

Где N- количество примеров в обучаемом множестве.

В качестве меры погрешности также широко используется расстояние Кульбака –Лейблера, которое связанно с критерием максимального правдоподобия.

Обучение без учителя

Альтернативная парадигма обучения без учителя, своим название говорит об отсутвии вмешательства внешнего учителя или корректора, который контролирует процесс обучения. Блочная диаграмма обучения без учителя имеет вид:

Среда

Обучаемая среда

Вектор описывающий состояние среды

Рис. 1

Обучение без учителя является более правдоподобной моделью обучения в биологической системе.

Искусственные нейронные сети, обучающиеся без учителя, служат средством для классификации, кластеризации, организации и визуального представления данных.

Процесс обучения без учителя, как и в случае обучения с учителем заключается в корректировки синоптических весов. Некоторые преобразования предусматривают изменения структуры нейронной сети, то есть количество нейронов и их связей. Такие преобразования называются более широким термином – самоорганизации.

Подстройка синоптических весов может проводиться только на основании информации доступной в нейроне, то есть его состояние уже имеющихся весовых коэффициентов.

Существует лишь независимые от задачи мера качества представления, которому должна научиться нейронная сеть. При этом свободные параметры сети оптимизируются по отношению к этой мере.

Дата добавления: 2014-01-11