Метод наискорейшего спуска

Метод итераций

Метод Ньютона

Методы решения

Для решения СНУ предлагаются три метода – Ньютона, итераций и наискорейшего спуска.

Итерационный процесс, по аналогии с формулами метода Ньютона для решения уравнений с одной переменной (2.1.14) и (2.1.17), выглядит следующим образом:

x^(k+1) = Ф(x^(k)), (2.4.3)

где Ф(x^(k)) = x^(k) – W^–1(x^(k))f (x^(k)). (2.4.4)

Критерий окончания итерационного процесса, по аналогии с (2.1.13), выглядит так:

(2.4.5)

Как и метод Ньютона, метод итераций решения СНУ является обобщением метода итераций решения уравнений с одной переменной и имеет вид (2.4.3). Анализируя (2.1.14) и (2.1.18), можно заключить, что для повышения скорости сходимости матрицу Якоби в (2.4.4) нужно вычислять не в точке x^(k), а в некоторой другой точке. Очевидно, что в данном случае определить ее гораздо труднее. Поэтому обычно просто берут точку x⁽⁰⁾:

Ф(x^(k)) = x^(k) – W^–1(x⁽⁰⁾)f (x^(k)). (2.4.6)

В итоге получаем модифицированный метод Ньютона, и скорость сходимости только падает. Критерий останова определяется выражением (2.4.5).

Итерационный процесс строится по общей формуле (2.4.3), где

Ф(x^(k)) = x^(k) – λ_kÑU(x^(k)). (2.4.7)

Функция U(x) преобразует систему функций f в скалярную функцию векторного аргумента:

(2.4.8)

Очевидно, что

(2.4.9)

Т.е. единственной проблемой остается поиск параметра λ_k. Он должен минимизировать функцию Ф(x) вдоль направления ÑU(x):

(2.4.10)

Очевидно, что он должен быть положительным, иначе мы будем двигаться в направлении градиента, а не антиградиента функции (т.е. искать максимум).

Как известно, в точке минимума (как и в других точках экстремума) значение производной функции равно нулю. Используем этот факт для минимизации выражения (2.4.10):

(2.4.11)

Уравнение (2.4.11) можно решить численно, если использовать правила дифференцирования. Можно его решить и аналитически, если прибегнуть к некоторым приближениям. Тогда получим

(2.4.12)

где

Дата добавления: 2014-11-20