运筹学_动态规划.ppt

第六章动态规划; 动态规划是运筹学的重要分支之一，它是解决多阶段决策过程最优化的一种方法。该法是由美国数学家R. Bellman等人在上世纪50年代首先提出的。 R.Bellman于1957年发表的“动态规划”一书是动态规划方面的第一本著作。目前，动态规划已成功地用于解决资源分配、货物装运、设备更新、生产计划以及复合系统可靠性等许多问题。;例1.最短路问题;上述问题的特点： 问题可以分解为多个决策阶段。 多阶段决策问题可以表示为：;动态规划的基本特征： 研究对象：多阶段的决策问题 研究目标：达到整个活动过程的总体最优 适用范围：阶段状态具有无后效性 (后文介绍); 多阶段决策问题是指一类活动过程，它可以分为若干个相互联系的阶段，在每个阶段都需要作出决策。这个决策不仅决定这一阶段的效益，而且决定下一阶段的初始状态。 每个阶段的决策确定以后，就得到一个决策序列，称为策略。多阶段决策问题就是求一个策略，使各阶段的效益的总和达到最优。;动态规划基本概念;状态(State) 状态表示每个阶段开始时所处的自然状况或客观条件，它描述了影响决策的因素随决策进程的变化情况，它既是前面阶段所作决策的结果，又是本阶段作出决策的出发点和依据。 描述各个阶段状态的变量称为状态变量，通常第k阶段的状态变量用sk表示，状态变量sk取值的集合用Sk表示。 见下面的例子。;A;状态的无后效性(马尔科夫性) 在动态规划中，当某一阶段状态给定以后，在这一阶段以后过程的发展就不受这一阶段以前各阶段状态的影响。 即当某阶段的状态给定时，这个阶段以后过程的演变与该阶段以前的历史状态无关。 过程过去的历史只能通过当前状态去影响他的未来，称为无后效性(马尔科夫性);决策(decision) 当某阶段的状态确定以后，就可以通过做出不同的决定来确定下一阶段的状态，这种决定就称为是决策。 描述决策的变量称为决策变量，它的取值决定系统下一阶段处于哪个状态，通常用xk(sk)表示第k阶段当状态处于sk时的决策变量，是状态变量的函数。 在实际问题中决策变量的取值往往被限定在一定的范围内，称为允许决策的集合，通常用Dk(sk)表示第k阶段从sk出发的允许决策的集合。 见如下例子。;例2中，从第2阶段B2出发可以选择C2, C3 , C4 , 允许决策的集合为 D2(B2)= {C2 ,C3 , C4}，如果选择C2则 x2(B2)= C2;策略(Strategy) 由过程的第一阶段开始到最后一阶段为止称为问题的全过程，由各阶段的决策构成的策略序列称为全过程策略，记为P1n。 ; 后部子过程 由多阶段决策过程的第k个阶段开始到终止状态为止的过程称为后部子过程，由第k阶段开始的决策按照顺序排列组成的决策序列 ;状态转移方程 状态转移方程是确定过程由一个状态转移到另一个状态的演变过程。 如果给定第k阶段的状态变量sk的值，那么这一阶段的决策变量xk一经确定，第k+1阶段的状态变量也就确定了，即sk+1的值随sk和xk的变化而变化，记作 sk+1 =T(sk, xk) (1) (1)表示由k阶段到k+1阶段的状态转移规律，称为状态转移方程。;阶段指标(损益)函数 阶段指标函数是对某一阶段的状态和决策产生的效益值的度量。第j阶段的阶段指标函数通常用dj =dj (sj, xj)表示 指标函数(策略效益) 指标函数是用来衡量所实现过程优劣的一种数量指标，它是定义在全过程或者所有后部子过程上的确定的数量函数，它是用来衡量所实现过程好坏的数量指标，用Fkn表示 Fkn =Fkn (sk, xk , sk+1, xk+1 ,‥‥,sn, xn , sn) 针对最短路问题分别分析上述两个指标的含义。;定义在全过程上的指标函数相当于目标函数，一般记为F1n 动态规划所要求的过程指标函数应具有可分离性，即可表达为它所包含的各阶段指标函数的函数形式。常见的两种过程指标函数形式是： ;最优子策略指标函数值 把过程指标函数Fkn对k子过程策略Pkn求最优，得到一个关于状态sk的函数，称为最优值函数记为： fk (sk) 在例2中，Fkn表示在第k阶段由sk到终点G的距离， fk (sk)表示sk到终点G的最短距离 ;A;最优性原理; 将多阶段的决策过程划分为不同阶段，恰当地选取状态变量、决策变量并定义最优指标函数，正确写出基本的递推关系和恰当的边界条件。 求解时从边界条件开始，逆过程进行方向逐段递推寻优，在对每一个子问题进行求解时，都要使用前面已求出的子问题的最优结果，最后一个子问题的最优解就是整个问题的最优解。 动态规划方法每一阶段最优决策选取是从全局考虑的，与该阶段的最优决策一般是不同的。;A;建立动