Временная неустойчивость

Размер шага

Локальные минимумы

Обратное распространение использует разновидность градиентного спуска, т.е. осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться. Статистические методы обучения могут помочь избежать этой ловушки, но они медленны. Существует метод, объединяющий статистические методы машины Коши с градиентным спуском обратного распространения и приводящий к системе, которая находит глобальный минимум, сохраняя высокую скорость обратного распространения.

Доказательство сходимости процесса обучения предполагает, что коррекции весов бесконечно малы. Ясно, что это неосуществимо на практике, так как ведет к бесконечному времени обучения. Размер шага должен браться конечным, и в этом вопросе приходится опираться только на опыт. Если размер шага очень мал, то сходимость слишком медленная, если же очень велик, то может возникнуть паралич или постоянная неустойчивость.

Если сеть учится распознавать буквы, то нет смысла учить Б, если при этом забывается А. Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. Необходимые изменения весов должны вычисляться на всем множестве, а это требует дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к минимальной ошибке. Этот метод может оказаться бесполезным, если сеть находится в постоянно меняющейся внешней среде, так что второй раз один и тот же вектор может уже не повториться. В этом случае процесс обучения может никогда не сойтись.

Сеть встречного распространения

В сети встречного распространения объединены два широко известных алгоритма:

• самоорганизующаяся проекция Кохонена;
• звезда Гроссберга.

Объединение нейросетевых парадигм может привести к созданию нейронных сетей, более близких по архитектуре к человеческому мозгу, чем однородные структуры.

На рисунке 17 показана упрощенная структура сети встречного распространения.

Рис. 17. Упрощенная структура сети встречного распространения.

Нейроны слоя 0, показанные кружками, служат лишь точками разветвления и не выполняют вычислений. Каждый нейрон слоя 0 соединен с нейронами слоя 1, называемого слоем Кохонена, отдельным весом w_mn. Эти веса в целом рассматриваются как матрица весов W. Аналогично, каждый нейрон в слое Кохонена (слое 1) соединен с каждым нейроном в слое Гроссберга (слой 2) весом vnp. Эти веса образуют матрицу весов V.

Как и многие другие сети, встречное распространение функционирует в двух режимах: в режиме функционирования, при котором принимается входной вектор Х и выдается выходной вектор Y, и в режиме обучения, при котором подается входной вектор и веса корректируются, чтобы дать требуемый выходной вектор.

Дата добавления: 2014-01-11