Загальна характеристика. Градієнтні методи повільно сходяться в тих випадках, коли поверхні рівня цільової функції f(x) сильно витягнуті

Градієнтні методи повільно сходяться в тих випадках, коли поверхні рівня цільової функції f (x) сильно витягнуті. Цей факт відомий у літературі як «ефект ярів». Суть ефекту полягає в тому, що невеликі зміни одних змінних приводять до різкої зміни значень функції — ця група змінних характеризує «схил яру», а по іншим змінним, що задають напрямок «дно яру», функція змінюється незначно. На малюнку зображені лінії рівня «яружної» функції траєкторія градієнтного методу характеризується досить швидким спуском на «дно яру», і потім повільним зиґзаґоподібним рухом у точку мінімуму.

Рис. 6.

Лінії рівня яружної функції

Існують різні підходи для визначення точки мінімуму функції f (x) у яружній ситуації. Більшість із них засновані на евристичні (тобто інтуїтивних, не обґрунтованих строго) міркуваннях. Їх можна застосовувати в ситуаціях, коли застосування більше зроблених методів неможливо або недоцільно, наприклад, значення цільової функції обчислюється зі значними похибками, інформація про її властивості недостатня, і т.д. Ці методи прості в реалізації й досить часто застосовуються на практиці, дозволяючи в ряді випадків одержати задовільний розв’язок задачі.

1.5.2. Евристичні алгоритми

Ідея евристичних алгоритмів

Іноді, використовуючи градієнтний спуск для мінімізації функцій зі складною топографічною структурою, застосовують евристичні схеми, які ідейно близькі до методів спуску. Ми розглянемо дві такі схеми.

Перша евристична схема містить два основних етапи. Обидва етапи являють собою аналоги градієнтного спуску з постійним кроком. Тільки замість градієнта використовується вектор g (x), формований з координат , але на кожному з етапів за різними правилами.

На першому етапі задається мале число d ₁<<1 і використовується градієнтний спуск, де замість градієнта береться вектор , який визначається в такий спосіб:

Таким чином, спуск виробляється лише по тими змінним, у напрямку яких похідна цільової функції досить велика. Це дозволяє швидко спуститися на «дно яру». Ми спускаємося доти, поки метод не зациклиться, тобто доти, поки кожна наступна ітерація дозволяє знайти точку, у якій значення функції менше, ніж значення, знайдене в попередній ітерації. Після цього переходимо до наступного етапу.

На другому етапі задається деяке велике число d₂>>1 і використовується процедура спуску, де замість градієнта береться вектор , який визначається в такий спосіб:

У цьому випадку переміщення відбувається по «березі» яру уздовж його «дна». Як і на першому етапі, спуск триває доти, поки метод не зациклиться.

Після виконання першого й другого етапів приймається рішення про завершення роботи або продовження. Для цього рівняється норма різниці попередньої точки, тобто точки, що ми мали до застосування першого й другого етапів, з поточною точкою, тобто отриманої після застосування з точністю рішення задачі e ₁. Якщо ця норма менше e ₁ і норма градієнта в поточній точці менше e ₃, то пошук закінчується й остання обчислена точка приймається за наближений розв’язок задачі. Інакше для поточної точки знову повторюємо перший і другий етапи й т.д.

Дата добавления: 2015-05-23