广东工业大学运筹学第6章 动态规划.ppt

第六章 动态规划 动态规划的基本概念 最优化原理 经济管理问题举例 多阶段决策过程 动态规划的基本概念 动态规划求解的基本思路 最优化原理 动态规划求解问题的基本思路 （1）划分阶段n （2）定义状态变量sk、写出各阶段的可选状态集合Sk； （3）定义决策变量uk 、写出各阶段各状态下的可选决策集合Dk(sk)； （4）写出状态转移方程sk+1=Tk(sk,uk)。 （5）定义阶段效益函数和效益函数，按照动态规划基本方程寻求最优策略。 例：用动态规划方法求解 解：阶段数n=5，每个星期为一个阶段 决策变量： 状态变量sk:第k周的价格 可选状态集合为Sk=｛500，600，700｝ 状态转移方程：无。每周的价格与上周的价格、决策无关 ykE=E[fk+1(yk+1)] ：当第k阶段选择不采购时以后阶段均选用最优子策略购入价格的期望值。 指标函数fk(yk)：第k周实际价格为yk 时，则第k周至第5周末采用最优子策略购入价格的期望值。 递推方程： fk(yk) = min{ yk ,ykE }, yk∈sk , k=1,2,3,4,5 f5(y5) = y5 , y5∈s5 ykE=E[fk+1(yk+1)]=0.3fk+1(500) + 0.3fk+1(600) + 0.4fk+1(700) k=1、2、3、4 逆序法求解 当k=5时，S5=｛500，600，700｝ f5(500)=500，x5(500)=1 f5(600)=600，x5(600)=1 f5(700)=600，x5(700)=1 当k=4时，S4=｛500，600，700｝ 当k=2时，S2=｛500，600，700｝ 解：阶段数n=3，3个阶段分别决定甲、乙、丙三个商店的专家数； 状态变量sk：第k阶段初还剩余的专家数；k=1,2,3 决策变量xk：分配给第k个商店的专家数； 允许决策集合：Xk={xk|0 ≤ xk ≤ sk} 状态转移方程：sk+1=sk-xk 阶段效益函数vk(sk,xk)：给第k个商店xk个专家能够获得的盈利； 最优过程效益函数fk(sk):第k阶段初还剩余sk个专家能够获得的总利润。 递推方程： 复合系统的可靠性问题 为保证某设备正常运转，需对串联工作的三种零部件A1、A2、A3分别确定备件数量。若增加备用零件的数量，可提高设备正常运转的可靠性，但费用增加，而总投资额为8万。已知备用零件数与他的可靠性和费用关系如表所示，求A1、A2、A3的备用零件数各为多少时，设备运转的可靠性最高。 解：阶段数n=3 状态变量sk:第k阶段初的剩余资金额 决策变量xk:购买第k中备件的数量 效益函数：系统可靠性 7+3=10 7+0=7 7+5=12 当k=1时 当k=2时 所以最优策略为甲、乙、丙三家商店分别聘用3、1、2位专家，总利润为15。 当k=3时 0 0 0 0 0 0 0 4 6 3 0.7 0.9 0.5 3 3 5 2 0.2 0.5 0.4 2 2 3 1 0.1 0.2 0.3 1 A3 A2 A1 A3 A2 A1 备用零件费用 可 靠 性 备件数 8 7 6 5 4 3 2 0 0 0 0 0 0 0 0 4 6 3 0.7 0.9 0.5 3 3 5 2 0.2 0.5 0.4 2 2 3 1 0.1 0.2 0.3 1 A3 A2 A1 A3 A2 A1 备用零件费用 可 靠 性 备件数 0.3 0.4 0.5 0.2 0.5 0.2 0.2 0.7 0.2 0.1 1 0.7 0.2 0.1 0.14 0.04 0.02 0.042 * * 动态规划的分类： 离散确定型 离散随机型 连续确定型 连续随机型 决策1 状态1 决策2 状态2 决策n 状态3 …… 状态n 应用：最优调度、资源分配、最优路径 最优控制、设备更新、库存问题 k=2 k=1 k=3 k=4 A B1 B3 C1 C2 C3 C4 D1 D2 D3 E 5 5 7 7 6 7 6 8 9 8 8 8 8 8 9 7 6 B2 8 1、阶段 阶段变量：k 阶段数记作n 2、状态 每个阶段开始所处的自然状态或客观条件 状态变量：s k 状态集合：S k s k∈ S k 无后效性：如果某阶段的状态给定，这阶段以后过程的发展不受这阶段以前各阶段状态的影响 3、决策、策略 （1）决策：某阶段状态确定后，为确定下一阶段的状态，所作出的决定（选择）。 决策变量：u k(s k) 表示第k阶段