第十二讲 动态规划.pptVIP

研究生课程（第十二讲） 经 济 数 学 模 型 授课教师：王书平 经管学院 第十二讲 动态规划 动态规划的基本概念 动态规划的基本思想和基本方程 生产计划问题 最佳路线问题 一、动态规划的基本概念 动态规划产生的背景 时间：1951年 人物：美国数学家贝尔曼（R.Bellman） 过程：多阶段决策问题变换为一系列互相联系的 单阶段问题，然后逐个解决。其最优性原 理，就是动态规划。 思想：全局最优转化为局部最优 实例：最短路线问题 一、动态规划的基本概念 （1）阶段 把所研究的过程恰当地分为若干个互相联系的阶段。描述阶段的变量称为阶段变量，常用k表示 阶段划分：时间特征，空间特征 （2）状态 表示每个阶段开始所处的自然状况或客观条件，又称不可控因素。 状态变量：描述状态的变量。可用一个数，一组数或一个向量来描述。常用Sk表示第k阶段的状态变量 （2）状态 可达状态集合：状态变量所有可能的取值组合的集合。 无后效性：如果某阶段的状态给定后，则这个阶段以后过程的发展不受这阶段以前各状态的影响。也就是当前状态是以往历史的总结。 注意：在构建多阶段决策过程中，状态变量应满足无后效性 （3）决策 表示当过程处于某个阶段的某个状态时，可以作出不同的选择，从而确定下一阶段的状态，这种选择称为决策。 决策变量：描述决策的变量。uk(sk)：表示第k阶段当状态为sk的决策变量，为状态变量的函数 允许决策集合：决策变量的所有可能取值，记为Dk(sk) （4）策略 策略是一个按顺序排列的决策组成的集合 记为：p1,n(s1)={u1(s1)，u2(s2) ，…，un(sn)} 允许策略集合：所有可能策略组合的集合 最优策略：允许策略集合中能达到最优效果的策略 k子过程（后部子过程）：由过程的第k阶段开始到终止状态为止的过程。 （5）状态转移方程 确定过程由一个状态到另一个状态的演变过程。记为： sk+1=Tk(sk，uk) 下一个状态sk+1只与sk，uk有关，体现了状态的无后效性 （6）指标函数 指标函数：用来衡量实现过程优劣的一种数量函数。定义在全过程和所有后部子过程上，记为： Vk，n＝Vk，n（sk，uk，sk+1，…，sn+1）k=1,2,…,n 动态规划对指标函数的要求：分离性，递推关系 Vk，n（sk，uk，sk+1，…，sn+1） = gk[sk，uk，Vk+1,n（sk+1，…，sn+1）] （7）最优值函数 指标函数的最优值，记为 fk（sk） 表示从第k阶段的sk状态开始到第n个阶段的终止状态的过程，采取最优策略所得到的指标函数值，即 二、基本思想和基本方程 动态规划的基本思想： 从最后一个阶段开始，用由后向前逐步递推的方法，求出第k阶段状态到终止状态的最优策略pk,n(sk)，此最优策略利用前一最优策略pk＋1,n(sk＋1)，直到k＝1。 二、基本思想和基本方程 动态规划的基本方程 实例分析（1）：最短路线问题 实例分析（1） 最短路线问题的求解： 边界条件：f6(F)=0 5阶段：f5(E1)=5，f5(E2)=4 4阶段：f4(D1)=8，f4(D2)=6，f4(D3)=7 3阶段：f3(C1)=8，f3(C2)=7，f3(C3)=9 2阶段：f2(B1)=9，f2(B2)=14 1阶段：f1(A)=14 最短路线：A－B1－C1－D2－E2－F 三、生产计划问题 问题： 设某公司对某种产品要制定n个阶段的生产计划，要求初始库存量和第n阶段末库存量为0，每阶段生产的产品最多为m单位，单位产量的成本为a，而生产每批产品的固定成本为K，第k阶段产品需求为dk，在每一阶段结束时剩余产品每单位存贮费为h，要求制定计划使总成本最小。 三、生产计划问题 动态规划模型： 阶段：n个阶段 状态变量：第k阶段开始时的库存量vk 决策变量：第k阶段的产量xk 状态转移方程：vk+1=vk+xk-dk 指标函数： 指标函数： 习题（2） 题目： 某工厂要制定明年四个季度的生产计划，估计各季度的需求量分别