[文学研究]教案_动态规划1.pptVIP

即城市⑤到终点最短距离为5，其路径为⑤→⑧→E。相应决策为 第三步：k=2,这是具有三个初始状态①、②、③，要经过两个中途站才能到达终点的三级决策问题。由于第3段各点④，⑤，⑥到终点E的最短距离已知，所以我们若求城市①到E的最短距离，只需以它们为基础，分别加上城市①与④、⑤、⑥的一段距离，加以比较取其短者即可。 同理有： 第四步k=1,只要一个状态A，则： 再按计算顺序反推可得最优决策序列{ }即： 即从城市A到城市E的距离为17。本段决策为: 所以最优路线为： A→城市①→城市⑤→城市⑧→E 用动态规划（逆序法求解的）基本特性： 动态规划方法是既把当前一段和未来各段分开，又把当前效益和未来效益结合起来考虑的一种最优化方法。每段决策的选取都是从全局考虑的,与该段的最优选择答案一般是不同的。 求解时从边界条件开始，逆（或顺）过程行进方向，逐段递推寻优。在每个问题求解时，都要使用它前面已求出的子问题的最优结果，最后问题的最优解，就是整个问题的最优解。 将多阶段决策过程划分阶段，恰当地选取状态变量、决策变量、及定义最优指标函数，正确写出基本的递推关系式和恰当的边界条件（简言之为基本方程）。从而把问题化成一族同类的子问题； 求解的各个阶段,我们利用了k阶段与k+1阶段之间的递推关系: 在求整个问题的最优策略时，由于初始状态是已知的，每段的决策是该段状态的函数，故沿最优化策略所经过的各段状态便可确定了最优路线。 fk(sk)=min｛dk(sk,uk(sk))+fk+1(uk(sk))｝ uk?Dk(sk) f4(s4)=0 k=4,3,2,1 一般情况,k阶段与k+1阶段的递推关系式（动态规划基本方程） 边界条件为 练习：写出乘积形式指标函数的动态规划基本方程。 将问题按时空特性恰当地划分为若干个阶段 选择状态变量sk, 既能描述过程的变化又满足无后效性； 确定决策变量uk及每一阶段的允许决策集合Dk(sk)； 正确写出状态转移方程 ； 正确地定义各阶段的直接指标函数 和后部子过程的最优指标函数 ，并写出其基本方程： 动态规划模型及其求解五要素： 问如何分配投资数额才能使总效益最大? 解：可列出静态规划问题的模型如下 分阶段：分三个阶段，即k=1，2，3。 确定决策变量：通常可以取静态规划中的变量为决策 变量。 确定状态变量：状态变量与决策变量有密切关系，状态变量一般为累计量或随递推过程变化的量。 例 某公司有资金10万元，若投资于项目(i=1,2,3)的投资额为xi时，其效益分别为 考虑效益函数的形式 状态转移方程 指标函数 最优指标函数fk(sk) 基本方程 最优目标函数 f3(s3)=2s32 每一阶段可使用的资金数为状态变量sk 此问题中可设（因此可得状态转移方程）： 当阶段k=3时，有 f3(s3)=max ｛2x32｝ 0≤ x3≤s3 最优决策为 x3*=s3 当阶段k=2时，有 是凹函数，最大值点只能在[0，s2]端点上取得，即 当 当 当 时， 时， 时， 此时 此时 当阶段k=1时，有 2阶导数大于0 * 动态规划（Dynamic Programming） R. Bellman50年代执教于普林斯顿和斯坦福大学，后进入兰德（Rand）研究所。1957年发表“Dynamic Programming”一书，标识动态规划的正式诞生。 动态规划的研究对象和引例 动态规划的理论基础和具体迭代方 法 动态规划的基本思想和基本方程 动态规划的基本概念和定义 动态规划是解决复杂系统优化问题的一种方法。是解决动态系统多阶段决策过程的基本方法之一。 教学大纲: 理解动态规划基本概念、最优化原理和基本方程，通过资源分配和生产与存储等问题,学习应用动态规划解决多阶段决策问题。 重点 : 掌握动态规划模型结构、逆序法算法原理、资源分配、设备更新、生产于存贮等问题。难点为动态规划中状态变量等的确定。 1 2 3 4 5 第一节 动态规划的研究对象和引例 引例1 最短路问题 A 1 2 3 4 5 6 7 8 E 6 4 5 8 7 7 8 9 3 3 8 9 5 6 5 6 2 1 3 4 引例2：