运筹学10-动态数规划教程文件.pptVIP

第十章 动态规划;多阶段决策过程的最优化 多阶段决策过程： 整个决策过程可按时间或空间顺序分解成若干相互联系的阶段，每一阶段都需作出决策，全部过程的决策是一个决策序列。 多阶段决策过程最优化的目标： 达到整个活动过程的总体效果最优，而非各单个阶段最优的简单总和。 请看如下典例——最短路线问题;从生产厂Q到某公司T选择那条路线,使总运费最低(路程最短)？;这是一个多阶段决策问题，它可分为四个阶段： 第一阶段：从Q(制造厂)到A(出口港)； 第二阶段：从A(出口港)到B(进口港)； 第三阶段：从B(进口港)到C(城市)； 第四阶段：从C(城市)到T(某公司)。 每个阶段选取的路线不同，对应从Q到T就有一系列不同的运输路线: 从始点Q到终点T共有3×3×2×1=18条不同路线 现在的问题是如何选择一条费用最小的路线？ ;最短路径：Q→ A3→ B1→ C1→T;什么是动态规划？;动态规划方法的特点;缺点： ①没有统一的处理方法，求解时要根据问题的性质，结合多种数学技巧。因此，实践经验及创造性思维将起重要的引导作用。 ②“维数障碍”：当变量个数太多时，由于计算机内存和速度的限制导致问题无法解决。有些问题由于涉及的函数没有理想的性质使问题只能用动态规划描述，而不能用动态规划方法求解。; 应特别指出的是，动态规划是解决某一类问题的一种方法，是分析问题的一种途径，而不是一种特殊算法(如线性规划是一种算法)。因而，它不象线性规划那样有一个标准的数学表达式和明确定义的一组规则，而必须对具体问题进行具体分析处理。因此，在学习动态规划时，除了对基本概念和方法正确地理解外，应以丰富的想象力去建立模型，用创造性的技巧去求解。正如贝尔曼本人所说：“由于动态规划的最优化原理仅仅是一种基本原理，正是它的某种不确定性为你提供了发挥你创造性思维的巨大空间 ! ;10.2 动态规划原理 ;状态(state) 状态表示过程发展中某阶段的起始状况。 过程的发展可以通过各阶段状态的演变来描述。 状态可用一个变量来描述，称为状态变量，用Sk表示。 选取的状态变量必须满足无后效性。 某阶段的状态给???后，则过程未来发展不受该阶段以前各阶段状态的影响。 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合， sk(i)表示第k阶段的第 i 个状态。;决策(decision) 从上一阶段某状态演变到下一阶段某状态要作一次选择，称为决策。 用变量xk(sk)表示第k阶段状态为sk时的决策，称为决策变量，简记xk 决策变量的取值被限制在某一范围内，此范围称为允许决策集合Xk(sk) 策略(policy) 多阶段决策过程中，每一阶段均有一个决策，依序组合成一个全过程的决策序列，称为全过程策略。 p1,n(s1)={x1(s1),x2(s2) ,…, xn(sn)} ， 简记p1,n ={x1, x2,…, xn};从过程的某个阶段开始到最终阶段结束称为后部子过程。从第k阶段开始的后部子策略称为第k子过程策略。 pk,n(sk)={xk(sk), xk+1(sk+1) ,…, xn(sn)} 简记 pk,n ={xk, xk+1,…, xn} 每一阶段有若干状态,每个状态又有若干个不同的决策,即有许多策略可供选择。全体策略构成允许策略集合Pk,n(sk)。 能使预期目标达到最优效果的策略称为最优策略P*k,n ， 构成最优策略的各决策称为相应阶段的最优决策x*k。;状态转移方程 下一阶段状态sk+1 是本阶段状态变量sk 和决策变量xk的函数，即 sk+1 =T(sk, xk(sk)) =T(sk, xk)  从状态sk出发到下一阶段状态sk+1的转移规律称为状态转移方程。 指标函数 用来衡量每一阶段决策效果的优劣的数量指标，称为阶段指标函数vk ，阶段指标是状态变量和相应决策变量的函数，即vk = vk(sk , xk )。 最短问题是运费或路程。对阶段的不同状态，采取不同的决策，运费不同。 指标函数也可以是利润、成本、产量等。;从第k阶段的状态sk出发到最后阶段结束，各阶段绩效综合起来反映这个后部子过程的绩效，称为过程指标函数，记为Vk,n。 Vk,n的大小取决于从第k阶段到最后阶段所采取的子策略。即 Vk,n = Vk,n (sk , xk , sk+1 , xk+1 ,…, sn) 根据实际问题的性质，指标函数Vk,n 为各个阶段指标的和或积。 从状态sk出发，选取最优策略所得的指标函数值称为最优指标函数值。 fk(sk)=opt{Vk