Постановка задачи и принцип оптимальности

Метод динамического программирования разработан американскими математиками под руководством Р. Беллмана в начале 60-х годов прошлого века [3].

Рассматривается следующая задача оптимального управления. Состояние ОУ характеризуется вектором состояния . Поведение ОУ описывается уравнением состояния в векторной форме .

Заданы: начальный момент процедуры управления , конечный момент процедуры управления , начальное состояние ОУ . Конечное состояние ОУ не задается, т.е. рассматривается задача со свободным правым концом траектории.

Задан критерий оптимальности

.

Заданы ограничения на управляющее воздействие и вектор состояния:

.

Необходимо найти такое допустимое управляющее воздействие , при котором ОУ переходит из начального состояния в конечное , оставаясь все время в области допустимых состояний , а показатель качества принимает минимальное значение.

Предположим, что задача оптимального управления решена и найдено оптимальное управление и соответствующая ему оптимальная траектория . Изобразим оптимальную траекторию в n -мерном пространстве состояний (рис. 4).

Рассмотрим произвольный момент времени , которому на оптимальной траектории соответствует точка . Она делит оптимальную траекторию на участки 1 и 2. Принцип оптимальности Беллмана утверждает, что второй участок оптимальной траектории сам по себе является оптимальной траекторией.

Это утверждение нужно понимать следующим образом: если за начальный момент времени принять момент времени , а за начальное состояние объекта принять вектор и решать задачу оптимального управления на основании критерия оптимальности

,

то решением этой задачи будет участок 2 оптимальной траектории.

Принцип оптимальности справедлив для любого конечного участка оптимальной траектории. Ни какой начальный или промежуточный участок не является сам по себе оптимальным, если рассматривается задача со свободным правым концом траектории. Так, например, если решать задачу оптимального управления на интервале с начальным состоянием и незаданным конечным состоянием объекта на основании критерия оптимальности

,

то решением этой задачи будет новый участок , а не участок 1.

Принцип оптимальности доказывается методом от противного. Предположим, что принцип оптимальности несправедлив, и можно указать такой участок , на котором показатель качества

принимает меньшее значение, чем на участке 2. Но тогда с самого начала можно было бы организовать управление объектом таким образом, что бы его траектория совпадала сначала с участком 1, а затем с участком . На траектории 1- показатель качества

достигал бы меньшего значения, чем на траектории 1-2. Однако траектория 1-2 является оптимальной, характеризуется минимальным значением показателя качества, и никакой другой траектории с меньшим значением показателя качества существовать не может. Поэтому предположение о наличии участка с указанными свойствами не подтвердилось, а, следовательно, принцип оптимальности справедлив.

Принцип оптимальности имеет и другую формулировку: оптимальное управление в любой момент времени не зависит от предыстории движения объекта, а определяется лишь состоянием объекта в этот момент времени и целью управления.

Принцип оптимальности Беллмана лежит в основе метода динамического программирования.

Дата добавления: 2014-11-29