第八章动态规划(DP).pptVIP

动 态 规 划（DP） 动态规划（Dynamic Programming）是运筹学的另一个重要分支，是解决多阶段决策过程最优化的一种数量化方法，是由美国数学家贝尔曼（R.Bellman）所建立。 D P是求解某类问题的一种方法，是考察问题的一种途径，而不是一种特殊的算法。 §1. 多阶段决策问题 §2. 动态规划的基本概念和基本方程 §3. 动态规划应用举例 §1. 多阶段决策问题 e.g.1 100多年前，有位美国推销员乘驿站马车向西旅行 ，从州A(state ,状态)到州E如图，需要4个驿程（stage，阶段）。问题为求从 State A到 State E走哪条途径使他最安全？ 方法一、穷举法 即列出所有的可行路径，逐个路径进行比较，并从中选出最佳路径。 分为4个阶段：A?B ( B1 , B2 , B3 )为第一阶段；3条路 B?C ( C1 , C2 , C3 )为第二阶段；3条路 C?D ( D1 , D2 )为第三阶段； 2条路 D?E 为第四阶段； 1条路 从A?E所有的可行路径共有 3×3× 2 × 1=18 最短路径为 A?B3?C2?D2?E 方法二 结论（最短路原理）： 如果A=S1?S2?…?Sk?…Sn?E 是A?E的最短路， 则该路上任一点Sk?Sk+1?…Sn?E是Sk?E的最短路。 设Sk表示在第k个驿程上出发州的集合（状态集合）， S1 = {A } ， S2 = {B1，B2，B3}， S3 = {C1，C2，C3}，S4 = {D1，D2}， uk(sk) = sk+1 表示在第k个驿程从 sk 出发所作的决策 , 如：u2(B1) = C1 或 C2 或 C3 ( {C1，C2，C3} 表示第k驿程从B1出发的允许决策集合) , fk(sk) 表示从第k个驿程的出发州sk?E的最短路的费用和，f1(s1) 即为所求。 若已知f2（B1）、f2（B2）、f2（B3），则 当k=4时， 当k=3时， 当k=2时， 当k=1时， Note 优点： ①减少计算量， 18次加法，11次比较 ②丰富了计算结果 动态规划问题具有以下基本特征： 1、问题具有多阶段决策的特征。 2、每一阶段都有相应的“状态”与之对应， 3、每一阶段都面临一个决策， 4、每一阶段的最优解问题可以递归地归结为下一阶段各个可能状态的最优解问题，各子问题与原问题具有完全相同的结构。 例8.2 机器负荷分配问题 某种机器可以在高低两种不同负荷下进行生产，在高负荷下生产时，产品的年产量G和投入生产的机器数量X的关系为G=G（X），这时机器的年完好率为a，即如果年初完好的机器数量为X，到年终时完好的机器数就为aX（0a1）；在低负荷下生产时，产品的年产量H和投入生产的机器数量Y的关系为H=H（Y），机器的完好率b（0b1）且ab. 假定开始生产时完好的机器数量为S1，要制定一个五年计划，确定每年投入高、低两种负荷下生产的完好机器数量，使5年内产品的总产量达到最大. 显然，这是一个5阶段的多阶段决策问题. §2.动态规划的基本概念和基本方程 一、DP的基本概念 1、阶段（stage） 是对整个过程的自然划分。（一般以时间和空间来划分） 用k=1，2，…，n表示阶段序号，把k称为阶段变量 。 2、状态（state） 状态表示每个阶段开始时所面临的自然状况或客观条件。既是该阶段某支路的始点，又是前一阶段某支路的终点。 （第k阶段的状态是第k阶段所有始点的集合） 描述状态的变量称为状态变量，记作sk，它表示第k阶段所处的状态。状态变量取值的全体，称为允许状态集合，记作Sk。 显然有sk Sk，如前例S1={A}，S2={B1，B2，B3}，etc.而s2可取B1，B2，B3。 Note 作为DP的状态，应具有这样的重要性质：如果某阶段状态给定后，则在这阶段以后过程的发展不受这阶段以前各段状态的影响 。称为无后效性（也称为马尔科夫性） 3、决策（decision）。当某阶段的状态确定后，可以作出各种不同的选择，从而确定下一阶段的状态，这种选择称为决策. 描述决策的变量称为决