运筹学课件第七章_动态规划剖析.pptVIP

第七章 动 态 规 划 (Dynamic programming);第一节 动态规划 动态规划(Dynamic Programming)是用来解决多阶段决策过程最优化的一种数量方法。其特点在于，它可以把一个n 维决策问题变换为几个一维最优化问题，从而一个一个地去解决。 需指出：动态规划是求解某类问题的一种方法，是考察问题的一种途径，而不是一种算法。必须对具体问题进行具体分析，运用动态规划的原理和方法，建立相应的模型，然后再用动态规划方法去求解。;一、多阶段决策问题的典型例子： 1 . 生产决策问题：企业在生产过程中，由于需求是随时间变化的，因此企业为了获得全年的最佳生产效益，就要在整个生产过程中逐月或逐季度地根据库存和需求决定生产计划。; 这时，机器的年完好率为a，即如果年初完好机器的数量为u，到年终完好的机器就为au, 0a1。; 3. 航天飞机飞行??制问题：由于航天飞机的运动的环境是不断变化的，因此就要根据航天飞机飞行在不同环境中的情况，不断地决定航天飞机的飞行方向和速度（状态），使之能最省燃料和实现目的（如软着落问题）。; 5 . 最短路问题：给定一个交通网络图如下，其中两点之间的数字表示距离（或花费），试求从A点到G点的最短距离（总费用最小）。;二、解题思路 三、应用范围 1、动态 2、静态 四、缺点 1、建模后，没有统一的方法 2、维数障碍 ; 一、基本概念 1、阶段： 把一个问题的过程，恰当地分为若干个相互联系的阶段，以便于按一定的次序去求解。 描述阶段的变量称为阶段变量,用k表示。阶段的划分，一般是根据时间和空间的自然特征来进行的，但要便于问题转化为多阶段决策。 ; 3、决策：表示当过程处于某一阶段的某个状态时，可以作出不同的决定，从而确定下一阶段的状态，这种决定称为决策。;图示如下：; 如果状态变量不能满足无后效性的要求，应适当地改变状态的定义或规定方法。; 5、策略：是一个按顺序排列的决策组成的集合。在实际问题中，可供选择的策略有一定的范围，称为允许策略集合。从允许策略集合中找出达到最优效果的策略称为最优策略。 全过程策略：U1(S1), U2(S2),…, Un(Sn) P1n={Ui(Si)}, i=1,…,n 子过程策略：Uk(Sk), Uk+1(Sk+1),…, Un(Sn) Pkn={Ui(Si)}, i=k,…,n 6、阶段指标：Vk(Sk, Uk),k阶段，Sk状态下，作出Uk决策带来的效果。在不同的问题中，指标的含义是不同的，它可能是距离、利润、成本、产量或资源消耗等。 7、指标函数：Vkn(Sk, Pkn),k阶段，Sk状态下，作出Pkn子策略带来的效果。动态规划模型的指标函数，应具有可分离性，并满足递推关系。 ;阶段指标与指标函数的关系有两种： 1）指标函数是它所含有的各阶段的阶段指标之和。 即Vkn(Sk,Pkn）= ∑ Vj(Sj, Uj),j=k,…n 那么有Vkn(Sk,Pkn）= Vk (Sk,Uk）+ Vk+1 n(Sk+1,Pk+1 n） 2）指标函数是它所含有的各阶段的阶段指标之积。 即Vkn(Sk,Pkn）= ∏Vj(Sj, Uj),j=k,…n 那么有Vkn(Sk,Pkn）= Vk (Sk,Uk）· Vk+1 n(Sk+1,Pk+1 n） 8、最优指标函数：指标函数的最优值，称为最优值函数。用fk(Sk)=optVkn(Sk,Pkn) opt表示最优化，常取max或min。 ; 1、Bellman最优性定理 一个过程的最优策略具有这样的性质：即无论初始状态及初始决策如何，对于先前决策所形成的状态而言，其以后所有的决策应构成最优策略。 换句话说，最优策略只能由最优子策略构成。 2、思想方法：在求解过程中，各阶段的状态和决策，对其后面的阶段来说，只影响其初始状态，而不影响后面的最优策略。——无后效性 方法：“顺序编号，逆序求解”; 3、基本方程 根据最优性定理，可以写出动态规划递推方程，即基本方程： Vkn(Sk,Pkn）= ∑ Vj(Sj, Uj),j=k,…n时， fk(Sk)=opt{ Vk (Sk,Uk）+ fk+1(Sk+1)} fn+1(Sn+1)=0 Vkn(Sk,Pkn）= ∏ Vj(Sj, Uj),j=k,…n时， fk(Sk)=opt{ Vk (Sk,Uk）· fk+1(Sk+1)} fn+1(Sn+1)=1 其中的fn+1(Sn+1)为边界条件。 ;三、建立动态规划模型的步骤 1、划分阶段 划分阶段是运用动态规划求解多阶段决策问题的第一步，在确定多阶段