Постановка задачи динамического программирования. Основные условия и область применения

Динамическое программирование

В ряде реальных экономических и производственных задач необходимо учитывать изменение моделируемого процесса во времени и влияние времени на критерии оптимальности. Для решения указанных задач используется метод динамического планирования (динамическое программирование). Этот метод более сложен по сравнению с методами расчета статических оптимизационных задач, изложенных выше. Также не простым делом является процесс построения для реальной задачи математической модели динамического программирования.

Пусть рассматривается задача, распадающаяся на шагов или этапов, например планирование деятельности предприятия на несколько лет, поэтапное планирование инвестиций, управление производственными мощностями в течение длительного срока. Показатель эффективности задачи в целом обозначим через W, а показатели эффективности на отдельных шагах – через , . Если W обладает свойством аддитивности, т.е.

, (5.1.1)

то можно найти оптимальное решение задачи методом динамического программирования.

Таким образом, динамическое программирование – это метод оптимизации многошаговых или многоэтапных процессов, критерий эффективности которых обладает свойством (5.1.1). В задачах динамического программирования критерий эффективности называется выигрышем. Данные процессы управляемые, и от правильного выбора управления зависит величина выигрыша.

Определение 5.1.1. Переменная , от которой зависят выигрыш на -м шаге и, следовательно, выигрыш в целом, называется шаговым управлением, .

Определение 5.12. Управлением процесса в целом (х) называется последовательность шаговых управлений .

Определение 5.1.3. Оптимальное управление х* – это значение управления х, при котором значение W(x*) является максимальным (или минимальным, если требуется уменьшить проигрыш)

, (5.1.2)

где Х - область допустимых управлений.

Оптимальное управление х* определяется последовательностью оптимальных шаговых управлений

В основе метода динамического программирования лежит принцип оптимальности Беллмана, формулирующийся следующим образом: управление на каждом шаге надо выбирать так, чтобы оптимальной была сумма выигрышей на всех оставшихся до конца процесса шагах, включая выигрыш на данном шаге.

Поясним это правило. При решении задачи динамического программирования на каждом шаге выбирается управление, которое должно привести к оптимальному выигрышу. Бели считать все шаги независимыми друг от друга, то оптимальным шаговым управлением будет то управление, которое приносит максимальный выигрыш именно на данном шаге. Но, например, при покупке новой техники взамен устаревшей на ее приобретение затрачиваются определенные средства. Поэтому прибыль от ее эксплуатации вначале может быть небольшой. Однако в следующие годы новая техника будет приносить большую прибыль. И наоборот, если руководитель примет решение оставить старую технику для получения прибыли в текущем году, то в дальнейшем это приведет к значительным убыткам. Данный пример демонстрирует следующий факт: в многошаговых процессах все шаги зависят друг от друга, и, следовательно, управление на каждом конкретном шаге надо выбирать с учетом его будущих воздействий на весь процесс.

Другой момент, который следует учитывать при выборе управления на данном шаге, – это возможные варианты окончания предыдущего шага: Эти варианты определяют состояние процесса. Например, при определении количества средств, вкладываемых в предприятие в -м году, необходимо знать, сколько средств осталось в наличии к этому году и какая прибыль получена в предыдущем ()- м году. Таким образом, при выборе шагового управления необходимо учитывать: 1) возможные исходы предыдущего шага и 2) влияние управления на все оставшиеся до конца процесса шаги.

В задачах динамического программирования первый пункт учитывают, делая на каждом шаге условные предположения о возможных вариантах окончания предыдущего шага и проводя для каждого из вариантов условную оптимизацию. Выполнение второго пункта обеспечивается тем, что в задачах динамического программирования условная оптимизация проводится от конца про­цесса к началу. Сперва оптимизируется последний -й шаг, на котором не надо учитывать возможные воздействия выбранного управления на все последующие шага, так как эти шаги просто отсутствуют. Делая предположения об условиях окончания ()-гo шага, для каждого из них проводят условную оптимизацию -го шага и определяют условное оптимальное управление . Аналогично поступают для () -го шага, делая предположения об исходах окончания ()-го шага и определяя условное оптимальное управление на ()-м шаге, приносящее оптимальный выигрыш на двух последних шагах – ()-м и -м. Так же действуют на всех остальных шагах до первого. На первом шаге, как правило, не надо делать условных предположений, так как состояние системы перед первым шагом обычно известно.

Для этого состояния выбирают оптимальное шаговое управление, обеспечивающее оптимальный выигрыш на первом и всех последующих шагах. Это управление является безусловным оптимальным управлением на первом шаге и, зная его, определяются оптимальное значение выигрыша и безусловные оптимальные управления на всех шагах. Ниже это будет пояснено на примерах.

Дата добавления: 2014-01-04