Dynamic Programming 动态规划2 最优化理论与方法课件（英文版－南京大学）.ppt

Dynamic Programming * 动态规划的步骤 1、确定问题的阶段和编号 2、确定状态变量 用 sk 表示第 k 阶段的状态变量及其值 3、确定决策变量 用 xk 表示第 k 阶段的决策变量，并以 xk*表示该阶段的最优决策 4、状态转移方程 sk-1= g(sk, xk) 反向编号 sk+1= g(sk, xk) 正向编号 5、直接效果 直接一步转移的效果 dk(sk, xk) 6、总效果函数（基本方程） 指某阶段某状态下到终端状态的总效果，它是一个递推公式 * 动态规划的步骤 hk 是一般表达形式，求当前阶段当前状态下的阶段最优总效果 (1) 累加形式 边界条件一般为 f0(s0, x0)=0 (2) 连乘形式 从第1阶段开始，利用边界条件，可以递推到最后阶段。 边界条件一般为 f0(s0, x0)=1 例1 可靠性问题 * 某电子系统由若干个部件串联而成，如果其中一个部件失灵整个系统便会失灵。为了提高整个系统的可靠性，各部件可以采用并联相同元件的设计方案。例如部件1可以由若干个元件并联而成。这样部件1的可靠性就提高了，但同时成本也增加了。那么在整个系统成本是有定额的情况下，如何设计并联方案（即各部件分别由多少相同元件并联而成）才能使整个系统的可靠性最大，这就是一个系统可靠性优化的问题。 例1 可靠性问题 * 并联元件数目 部件1 部件2 部件3 部件4 1 0.7 0.5 0.7 0.6 2 0.8 0.7 0.9 0.7 3 0.9 0.8 0.95 0.9 各部件安装不同数目原件的成本表 并联元件数目 部件1 部件2 部件3 部件4 1 10 20 10 20 2 20 40 30 30 3 30 50 40 40 某电子系统由四个部件串联构成，四个部件分别是采用不同数量元件并联的，其工作的可靠性如表所示。 例1 可靠性问题 * （1） 按构成系统的部件数量，确定动态规划有4个阶段，即 k = 4 （2） 各阶段的状态参数为在各阶段可用的成本总值，即在第 k 阶段允许使用的总费用 （3） 各阶段的决策变量为第 k 个部件采用的元件数 （4） 状态转换方程为　 例1 可靠性问题 * （5） 最优指数函数 　 （6） 边界条件 k = 4 下面进行各界段的计算 例1 可靠性问题 * 第四阶段计算表 k = 4 s4 u4 =x4 P4(s4) P4(s4)· f5(s5) f4(s4) uk* 0≤ s4 ≤19 0 0 0 0 0 20≤ s4 ≤29 0 1 0 0.6 0 0.6 0.6 1 30≤ s4 ≤39 0 1 2 0 0.6 0.7 0 0.6 0.7 0.7 2 40≤ s4 ≤100 0 1 2 3 0 0.6 0.7 0.9 0 0.6 0.7 0.9 0.9 3 例1 可靠性问题 * 第三阶段计算表 k = 3 s3 u3=x3 P3(x3) s4 f4(s4) P3(x3) · f4(s4) u3* 0≤ s3 ≤29 1 0.7 10≤ s4 ≤19 0 0 30≤ s3 ≤39 1 2 0.7 0.9 20≤ s4 ≤29 0≤ s4 ≤9 0.6 0 0.7×0.6=0.42 0 1 40≤ s3 ≤49 1 2 3 0.7 0.9 0.95 30≤ s4 ≤39 10≤ s4 ≤19 0≤ s4 ≤9 0.7 0 0 0.7×0.7=0.49 0 0 1 50≤ s3 ≤59 1 2 3 0.7 0.9 0.95 40≤ s4 ≤49 20≤ s4 ≤29 10≤ s4 ≤19 0.9 0.6 0 0.7×0.9=0.63 0.9×0.6=0.54 1 例1 可靠性问题 * 第三阶段计算表 k = 3 （续） s3 u3=x3 P3(x3) s4 f4(s4) P3(x3) · f4(s4) u3* 60≤ s3 ≤69 1 2 3 0.7 0.9 0.95 50≤ s4 ≤59 30≤ s4 ≤39 20≤ s4 ≤29 0.9 0.7 0.6 0.7×0.9=0.63 0.9×0.7=0.63 0.95×0.6=0.57 1.2 70≤ s3 ≤79 1 2 3 0.7 0.9 0.95 60≤ s4 ≤69 40≤ s4 ≤49 30≤ s4 ≤39 0.9 0.9 0.7 0.7×0.9=0.63 0.9×0.9=0.81 0.95×0.7=0.665 2 80≤ s3 ≤100 1 2 3 0.7 0.9 0.95 70≤ s4 ≤79 50≤ s4 ≤59 40≤ s4 ≤49 0.9 0.9 0.9 0.7×0.9=0.63 0.9×0.9=0.81 0.95