Градиентные методы

Т.к. производная по направлению является линейной частью прищения функции в данном направлении, то если градиент отличен от нуля в данной точке и направление движения образует острый угол с направлением градиента, то при достаточном малом сдвиге в этом направлении значение функции увеличивается, а при достаточно малом сдвиге в противоположном направлении – уменьшается.

Это свойство используется для последовательного улучшения значений непрерывного дифференцируемых функций при решении задач минимизации (максимизации), а соответствующие методы называемые релаксационными. Если движение производится точно в направлении градиента, то метод называется градиентным.

Различают градиентные методы I и II порядков. Градиент функции в некоторой точке это вектор, показывающий направление наибольшей скорости увеличения функции. Антиградиент –убывание функции (т.е. противоположно градиенту).

Grad Если спроектировать его на ортогональные оси.

вектор сторка

проекции градиента.

Антиградиент -т.е. -

3. Метод наискорейшего спуска. (1-го порядка)

где М откр.

Алгоритм любого метода поиска отражается следующей поисковой формулой.

или

К –номер итерации;

S- направление, в котором осуществляется поиск;

- величина шага.

Знак ±

Ели движение по градиенту, то

-градиент -антиградиент часто пользуется

Пример.

Начальная точка к=0

Дата добавления: 2014-01-11