_动态规划1_1概览.ppt

动态规划（Dynamic Programming）;A;引例2：投资金额分配问题;状态 （未分的资金额）;2.对于项目B;状态 （未分的资金额）; 包含随时间变化的因素和变量的系统。;每个阶段都要进行决策,目的是使整个过程的决策 达到最优效果。;多阶段决策问题的典型例子： ; 但要便于把问题的过程能转化为多阶段决策 的过程。; 在实际问题中决策变量的取值往往在某一范围之内，此范围称为允许决策集合。常用Dk(sk)表示第k阶段从状态sk出发的允许决策集合，显然有 ; 系统在某一阶段的状态转移不但与系统的当前的状态和决策有关，而且还与系统过去的历史状态和决策有关。其状态转移方程如下（一般形式）;1; 如果状态变量不能满足无后效性的要求，应适当地改变状态的定义或规定方法。; 由每段的决策按顺序排列组成的决策函数序列称为k子过程策略，; 它是定义在全过程或所有后部子过程上确定的数量函数。;常见的指标函数的形式是：;过程和它的任意子过程的指标是它所包含的各阶段的指标的 乘 积。即 ; 多阶段决策过程的数学模型：（具有无后效性的多阶段决策过程）; 多阶段决策过程的数学模型：（具有无后效性）;小结:;解多阶段决策过程问题，求出;第三节：动态规划的基本思想和基本方程;3;k=5，出发点E1、E2、E3;k=4，;A;用动态规划（逆序法求解的）基本特性：; 求解的各个阶段,我们利用了k阶段与k+1阶段之间的递推关系:; 一般情况,k阶段与k+1阶段的递推关系式（动态规划基本方程）;小结:;第四节： 动态规划的理论基础和 具体迭代方 法; 动态规划方法的理论基础是基于R. Bellman提出的最优性原理：“一个过程的最优策略具有这样的性质：即无论其初始状态及初始决策如何，对于先前决策所形成的状态而言，余下的诸决策仍构成最优策略。”; 动态规划的最优性定理：设阶段数为n的多阶段决策过程，其阶段编号为k=0,1,...,n-1。允许策略;证明：必要性（ ）;充分性（ ）设p0,n-1=(p0,k-1,pk,n-1)为任一策略，sk为由（s0，p0,k-1）所确定的k阶段的起始状态，则有（以最大化为例）; 推论：若允许策略p*0,n-1是最优策略，则对任意的k,0kn-1,它的子策略p*k,n-1对于以 s*k=Tk-1(s*k-1,u*k-1) 为起点的k到n-1子过程来说，必是最优策略。 （注意：k段状态s*k,是由s0和p*0,k+1所确定的）; 5.1 逆序（递推）法; 当阶段k=n-1时; 当阶段k=1时;例1 用动态规划的逆序法求解下面问题:; 指标函数;当阶段k=2时，有;当阶段k=1时，有;问如何分配投资数额才能使总效益最大?;状态转移方程;当阶段k=2时，有;是凹函数，故比较[0,10]的端点;5.2 动态规划的优缺点