第10 动态规划.pptVIP

第九章 动态规划 一、基本概念、方程与最优化原理 （一）基本概念 1、阶段k：按时间或空间将全过程划分为若干相互联系的阶段。 例：K=1，2，3，4 2、状态Sk：能确定地表示决策过程当前特征的量。状态可以是数量，也可以是字符，数量状态可以是连续的，也可以是离散的。 状态可能集合Sk：所有状态点的取值集合 例： S2={B1，B2，B3，B4}， S3={C1，C2，C3} 3、决策Xk：从某一状态向下一状态过渡时所做的选择。决策是所在状态的函数，记为xk(sk)，表示第k阶段处于sk状态时所做的决策。 例： X2（ B1 ）= C2 X3（ C2）= D2 决策允许集合Dk(sk)：在状态sk下，允许采取决策的全体。 例： D2（B1）={C1，C2，C3} D3（C2）={D1，D2} 4、策略：即各阶段决策组成的决策函数序列。 全过程策略：P1,n(s1)，简称策略；达到总体最优—最优策略。 子过程策略：Pk,n(sk)：从第k阶段开始到最后第n阶段的决策序列，称k子策略。例：P3，4（C2） 5、状态转移方程 sk+1=Tk(sk,xk) ：某一状态以及该状态下的决策，与下一状态之间的函数关系。 6、指标函数：用于衡量所选策略优劣的数量指标。 （1）阶段指标函数rk(sk,xk)：从状态sk出发，选择决策xk所产生的第k阶段指标。 （2）过程指标函数Vk,n(sk,xk,xk+1,…,xn)：从状态sk出发，选择决策xk,xk+1,…,xn所产生的过程指标。 动态规划要求过程指标具有可分离性，即可加性与可乘性： Vk,n(sk, xk,xk+1,…,xn) = vk(sk,xk)+Vk+1(sk+1,xk+1,…,xn) Vk,n(sk, xk,xk+1,…,xn) = vk(sk,xk)×Vk+1(sk+1,xk+1,…,xn) （3）最优指标函数fk(sk): fk(sk)=opt. Vk,n(sk,xk,xk+1,…,xn) （二）基本方程 对于n阶段的动态规划问题，在求子过程上的最优指标函数fk(sk)时，k子过程与k+1过程的递推关系如下： fk(sk)=min/max {rk(sk,xk)+fk+1(sk+1)} (k=n,n-1,…2,1) 终点条件：fn+1(sn+1)=0 （三）最优化原理 作为整个过程的最优策略具有如下性质： 不管在此最优策略上的某个状态以前的状态和决策如何，对该状态来说，以后的所有决策必定构成最优子策略。就是说，最优策略的任意子策略都是最优的。 二、动态规划求解 具体步骤： （一）建模 （1）确立阶段与阶段变量 （2）确立状态变量与状态可能集合 （3）确立决策变量与决策允许集合 （4）确立状态转移方程 （5）确立阶段效应和目标 （二）建立基本方程 （三）按逆序作出各阶段表格，向前递推 例：最短路问题 例1 解：根据题意，将该问题划分为4个阶段， k=1，2，3，4 sk+1=Tk(sk,xk) fk(sk)=min {rk(sk,xk)+fk+1(sk+1)} f5(s5)=0 1）当k=4时，s4={D1，D2} D4（s4）={E} 2）当k=3时， s3={C1，C2 ，C3} D3（s3）={D1，D2} 3）当k=2时， s2={B1，B2 ，B3 ，B4} D2（s2）={C1，C2 ，C3} 4）当k=1时， s1={A} D1（s1）={B1，B2 ，B3 ，B4} 因此，最短路径为：A—B4—C3—D1—E 最短路长为：14（2+1+1+10=14） 三、动态规划的应用 * 资源分配问题： 例2. 现有资金4万元，投资A、B、C三个项目，每个项目的投资效益与投入该项目的资金有关。三个项目A、B、C的投资效益（万吨）和投入资金（万元）的关系见下表： 求对三个项目的最优投资分配，使总投资效益最大。 阶段k：每投资一个项目作为一个阶段； 状态变量sk：投资第k个项目前的资金数； 决策变量xk：第k个项目的投资额； 决策允许集合：0≤xk≤sk 状态转移方程：sk+1=sk-xk 阶段指标：rk(sk,xk)见表中所示； 递推方程：fk(sk)= max{rk(sk,xk)+fk+1(sk+1)} = max{rk(sk,xk)+fk+1(