动态规划-运筹学.ppt

管理运筹学教程第三章 动态规划 名词解释 阶段，用k表示。 状态、状态变量，用Sk表示，通常是集合 决策、决策变量，通常用uk或xk表示。 状态转移及其方程： 过程与子过程 策略与子策略： 指标函数与最优值函数： 二、最优化原理与动态规划的基本方法 Bellman原理 动态规划的基本方法 逆向顺序法 前向顺序法 Bellman原理示意图 逆向顺序法求解例3-2 第二节 动态规划建模与求解步骤 建立动态规划模型的基本要求 动态规划的求解步骤 一、建立动态规划模型的基本要求 将问题划分成若干阶段。有的问题的阶段性很明显，有的则不明显，需要分析后人为假设。 确定各阶段的状态变量，并给出状态转移方程，状态转移方程的形式应当与递推顺序一致。 状态变量应当满足无后效性要求。 明确指标函数，给出最优函数递推方程，递推方程的形式应当与递推顺序一致。 二、动态规划的求解步骤 正确划分阶段。 确定状态变量和决策变量，并给出状态变量和决策变量的可行集合。 确定求解的递推顺序，给出状态转移方程。 确定阶段、子过程(子策略)的指标函数，确定最优值函数的递推方程和边界条件。 递推求解。 与递推过程反向求出最优策略(最优决策变量值系列)和最优状态变化路线。 第三节 动态规划的应用举例 定价问题 资源分配问题 生产存储问题 一、定价问题 某公司考虑为某新产品定价，该产品的单价拟从每件5元、6元、7元和8元这四个中选取一个，每年允许价格有1元幅度的变动，该产品预计畅销五年，据预测不同价格下各年的利润如表3-1所示。 表3-2 每年预计利润额 建立数学模型 按年划分阶段，k=1,2,...,5 每阶段的状态变量为本年(上一年已确定)的价格，状态变量的可行集合Sk=(5,6,7,8)。 决策变量为每年依据当年价格为下一年度决定价格，根据题意决策变量的可行集合是： 采用逆序算法，因此状态转移方程是 最优值函数递推方程为 继续求解 反推得最优路线 按照与求最优值函数方向相反的顺序求最优状态路线：最优决策变量。即从第一年单价应为8元开始，向后推算。 得第二年定价8元，第三年定价7元，第四年定价6元，第五年定价5元。 最大利润值为92万元。 用决策图求解 二、资源分配问题 某公司将5台加工中心分配给甲、乙、丙、丁四个工厂，各工厂或设备后可产生如表3-2所示的利润，应怎么分配设备可使公司总利润最大？ 建立数学模型 按工厂次序划分阶段，k=1，2，3，4 状态变量为各阶段可用于分配的设备总台数 决策变量是分配给第k工厂的设备数 采用逆序算法，状态转移方程 最优值函数递推方程 第4阶段的最优解 当k=4时，S4=(0,1,2,3,4,5) 反向求最佳状态路线 四. 背包问题： [例3-5] 现有一辆货车，最大运载量为10吨。准备用它装载三种货物，每种货物的单位重量及相应单位价值如表3—13。问如何装载可以使总价值最大？试用动态规划方法求解。 表3-13 解： 设装载第i种货物的件数为（i=1,2,3）,则该问题的整数线性规划方程为: 0,且为整数(i=1,2,3)。 按动态规划要求确定以下参数 将装载问题按3种货物分为三个阶段，每阶段装载一种货物。 各阶段的状态参数取为在各阶段还可以装载的重量。 各阶段的决策变量取为该阶段装载货物的数量。决策变量的允许集合 状态转移方程： 阶段指标函数： 最优指标函数： = 边界条件 五 设备更新问题 [例3-6] 设某台新设备的年收益及年均维修费，更新净费用如下表3-17所示，试作今后5年内的更新决策使总效益最大： 按动态规划要求确定以下参数 （1）将设备更新问题按今后5年分为K=5个阶段， （2）各阶段的状态参数取为第K年初，设备已使用过的年限，=[0,1,2,3,4,5]。 （3）各阶段的决策变量只有两个: (保留)或 (更新) （4）状态转移方程： 续 （5）阶段指数函数： （6）最优指标函数： 下面进行分阶段计算 当K=5 ， S5=（1，2，3，4） 当K=4， S4=（1，2，3） 当K=3， S3=（1，2） 六 可靠性问题 某电子系统由若干个部件串联而成，如果其中一个部件失灵整个系统便会失灵。为了提高整个系统的可靠性，各部件可以采用并联相同元件的设计方案。例如部件1可以由若干个元件并联而成。这样部件1的可靠性就提高了，但同时成本也增加了。那么在整个系统成本是有定额的情况下，如何设计并联方案（即各部件分别由多少相同元件并联而成）才能使整个系统的可靠性最大，这就是一个系统可靠