Проблема локального минимума

Рассматриваемая нейронная сеть имеет несколько «узких мест». Во-первых, в процессе большие положительные или отрицательные значения весов могут сместить рабочую точку на сигмоидах нейронов в область насыщения. Малые величины производной от логистической функции приведут в соответствии с (8.10) и (8.12) к остановке обучения, что парализует сеть (). Во-вторых, применение метода градиентного спуска не гарантирует нахождения глобального минимума целевой функции (в данном случае – функции ошибки). Находя на функции ошибки минимум, обучение останавливается. Но этот минимум по своему значению может быть слишком велик. Например, необходима ошибка в 0.01, а обучение остановилось на ошибке 0.1. Нужно искать глобальный минимум. Это тесно связано вопросом выбора скорости обучения. Приращения весов и, следовательно, скорость обучения для нахождения экстремума должны быть бесконечно малыми, однако в этом случае обучение будет происходить неприемлемо медленно, и с другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения. Поэтому в качестве коэффициента скорости обучения η обычно выбирается число меньше 1 (например, 0,1), которое постепенно уменьшается в процессе обучения. Кроме того, для исключения случайных попаданий сети в локальные минимумы иногда, после стабилизации значений весовых коэффициентов, η кратковременно значительно увеличивают, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет сеть в одно и то же состояние, можно предположить, что найден глобальный минимум.

Дата добавления: 2014-01-05