第八章 动态规划问题及求解.pdf

第八章 动态规划问题及求解 88．11 多阶段决策问题多阶段决策问题 动态规划是解决这样一类最优化问题的专门计算 方法方法，这类问题允许把它的过程这类问题允许把它的过程 （（求解求解））分解为分解为一 系列的单级过程（步骤）。 最优化原理最优化原理：达到系统某种状态的过程无论是怎样的达到系统某种状态的过程无论是怎样的， 以这个状态为初始状态的剩余过程的求解仍是最优的规 划划。也就是说也就是说，当系统处于第当系统处于第 ii个状态时个状态时，只要最优只要最优 规划剩余的 n i 个过程，便可逐步求出i 1 时的 最优解。 为了方便讨论动态规划的求解过程为了方便讨论动态规划的求解过程，我们把动态规划我们把动态规划 问题化分为下面几个过程问题化分为下面几个过程： 1.阶段（stage ）：把问题恰当的分为若干个相互联系 的阶段的阶段； 2 ．状态（State ）:它是表示某段的出发位置，是某支路 i 的起点，又是前一段某支路的终点。第 个阶段的状态 xx 变量变量 i 应该包含前各阶段决策过程的全部信息，且之后 作作出的决决策与之前的状状态和决决策无关。 3．决策（Decision）:是指某阶段初从给定的状态出发 决策者所作出的选择，决策变量 uk (xk ) 表示第 i 个阶段 状态为状态为xxii 时对方案的选择时对方案的选择。。决策允许范围记为决策允许范围记为DDkk ((xxkk )) ， uk (xk ) Dk (xk ) 44 ．策略策略 （（PPolilicy ））:即决策序列即决策序列。 个阶段动态规划问题个阶段动态规划问题 nn 的策略可记为 {u (x ), u (x ),, u (x )} ，当 k 2 时， 1 1 2 2 n n {uk (xk ), uk 1 (xk 1 ),, un (x n )} 表示从表示从 k 阶段开始到最后的决策 序列序列。 5．状态转移方程：表明后一阶段和前一阶段之间的 关系。当第 k 阶段状态和决策给定之后，第 k 1 阶段状态就确定了阶段状态就确定了，记为记为xxk 1 TT ((xxk ,uuk ((xxk )))) 6.指标函数指标函数：阶段指标函数阶段指标函数对应于某对应于某一阶段状态和从该阶段状态和从该 状态出发的决策的某种指标度量。第 k 阶段指标函数记 为为 V (x ,u (x )) ；过程指标函数过程指标函数从某阶段开始到最后从某阶段开始到最后 k k k k 过程的指标度量过程的指标度量。。记为记为 VV ((xx ,uu , xx ,uu ,..., xx ,uu )) kk ,n kk kk kk 11 kk 11 n n ，最优策略值记为f (x ) max(min) V k k k ,n 7．动态规划基本方程：过程指标函数是各阶段指标函数 的函数。 n 若若VV , v 时时, 有有ff ((x )) max((miin){){ VV ((x ,u )) ff 1 ((x 1 )})} k n i k k k k k k k i k n 若若VV v 时时, 有有ff ((x )) max((miin){){ VV ((x ,u )) ff ((x )})} k ,n