Выбор длины шага

Вообще говоря, лучший выбор длины шага — точная одномерная оптимизация функции E вдоль вектора антиградиента. Требуется найти минимум функции

где P₀ — текущий вектор параметров, ε > 0 — независимая переменная. Найденное значение ε _ОПТ =

e

min E ₁(ε) даст требуемую длину шага на данной итерации.

Рис.. Одномерная оптимизация для поиска длины шага.

Cуществует множество способов для решения задачи одномерной оптимизации: дихотомии, метод Ньютона, Фибоначчи, золотого сечения. Применительно к нейросетям все эти методы имеют недостаток: каждый расчет значения E требует больших затрат времени и расчета выходов всех нейронов в сети. Поэтому часто оказывается выгоднее вообще не проводить одномерного поиска, а взять в (5) шаг ε = const, пропорциональный градиенту или априорную зависимость от времени обучения ε = ε (t) для коэффициента пропорциональности между длиной шага и градиентом. Неудачный выбор априорных данных может привести к следующим последствиям

1) неточности обучения: оказавшись в окрестности локального минимума, когда требуются малые длины шага для точной настройки параметров, алгоритм с большим шагом даст неточные значения параметров;

2) медленному обучению: если шаг слишком малый, обучение может стать недопустимо медленным;

3) отсутствию сходимости, параличу сети и другим проблемам при очень большой длине шага;

Дата добавления: 2014-01-06