Способы градиентной оптимизации

Существует несколько модификаций метода градиентной оптимизации применительно к дискретным вычислениям.

1) Если подъем происходит поочередно по каждой отдельной координате v ₁, v ₂, …, v_k, то такой метод называют покоординатным подъемом или методом Гаусса – Зейделя.

Движение осуществляется из некоторой точки по координате v ₁, пока ¶ f (V) / ¶ v ₁ = 0.

Все остальные координаты сохраняют постоянное значение. После этого подъем начинается по другой координате.

После того, как будет произведен подъем по всем координатам, начинают повторно с v ₁.

Процесс заканчивается, когда все частные производные будут равны нулю (будут меньше порога чувствительности).

2)Метод наискорейшего подъема предполагает определение градиента в исходной точке, далее подъем в этом направлении осуществляется до тех пор, пока производная df (V) / dV в этом направлении не обратится в нуль.

После этого снова определяют градиент и осуществляют по нему подъем до нулевого значения производной и т.д.

Рассмотренные методы предполагают возможность движения по любому выбранному направлению, т. е. ограничений на область допустимых значений аргументов нет.

Одна из основных проблем применения градиентного метода заключается в выборе величины каждого дискретного шага. Шаги могут быть постоянными или переменными. Второй вариант в реализации алгоритма более сложный, но обычно требует меньшего количества итераций.

Поиск максимума функции включает следующие этапы.

1. Определение аналитических соотношений для вычисления градиента функции Ñ f (V), длины вектора градиента |Ñ f (V)| и единичного вектора t (V), используя соответственно формулы (2.1), (2.2) и (2.3).

2. Выбор исходной точки V _n при n = 0 (начальных значений аргументов функции).

3. Вычисление координат единичного вектора t (V_n) по формуле, полученной на шаге 1 и определение координат новой точки при движении по направлению единичного вектора.

4. Выбор шага a изменения координат текущей точки V_n. Осуществляется из условия предельного увеличения функции f [ V_n + at (V_n)] одного аргумента a в соответствии с уравнением (2.4)

Корень этого уравнения, максимизирующий функцию f (V), обозначим a_n.

Следующее приближение V_{n + 1} вычисляется по формуле: V_{n +1} = V_n + а_n t (V_n).

Производится возврат к этапу 3.

В результате формируется последовательность приближений V ₀, V ₁, V ₂, …. Вычислительный процесс заканчивается, когда будет достигнута точка V_n, в которой оценка градиента будет равна нулю (коэффициенты функции отклика становятся незначимыми).

Дата добавления: 2014-01-11