运筹学-动态规划教学幻灯片讲义.pptVIP

第四章 动态规划 Dynamic Programming;多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划方法的基本步骤 动态规划方法应用举例 ; 动态规划是解决多阶段决策过程最优化问题的一种方法。由美国数学家贝尔曼（Bellman）等人在20世纪50年代提出。他们针对多阶段决策问题的特点，提出了解决这类问题的“最优化原理”，并成功地解决了生产管理 、 工程技术等方面的许多实际问题。; 动态规划是现代企业管理中的一种重要决策方法，可用于最优路径问题、资源分配问题、生产计划和库存问题、投资问题、装载问题、排序问题及生产过程的最优控制等。;动态规划的基本原理 多阶段决策过程最优化 多阶段决策过程是指这样一类特殊的活动过程，他们可以按时间顺序分解成若干相互联系的阶段，在每个阶段都要做出决策，全部过程的决策是一个决策序列，所以多阶段决策问题也称为序贯决策问题。;例 生产与存储问题 某工厂每月需供应市场一定数量的产品。供应需求所剩余产品应存入仓库，一般地说，某月适当增加产量可降低生产成本，但超产部分存入仓库会增加库存费用，要确定一个每月的生产计划，在满足需求条件下，使一年的生产与存储费用之和最小。;例 投资决策问题 某公司现有资金Q亿元，在今后5年内考虑给A、B、C、D四个项目投资，这些项目的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第五年末拥有资金的本利总额最大。;例 设备更新问题 企业在使用设备时都要考虑设备的更新问题，因为设备越陈旧所需的维修费用越多，但购买新设备则要一次性支出较大的费用。; 多阶段决策过程特点:;;动态规划的基本概念 阶段； 状态； 决策和策略； 状态转移； 指标函数。;1 阶段（Stage） 将所给问题的过程，按时间或空间特征分解成若干个相互联系的阶段，以便按次序去求每阶段的解。用以描述阶段的变量叫作阶段变量，一般以k表示阶段变量。;2 状态（State） 各阶段开始时的客观条件叫做状态。描述各阶段状态的变量称为状态变量，常用sk表示第k阶段的状态变量，状态变量的取值集合称为状态集合，用Sk表示。状态集合可以是一离散取值的集合，也可以为一连续的取值区间，视具体问题而定。 ; 按照过程进行的先后，每个阶段的状态可分为初始状态和终止状态，或称输入状态和输出状态，阶段k的初始状态记作sk，终止状态记为sk+1。但为了清楚起见，通常定义阶段的状态即指其初始状态。;动态规划中的状态具有如下性质： 当某阶段状态给定以后，在这阶段以后的过程的发展不受这段以前各段状态的影响。即：过程的过去历史只能通过当前状态去影响它未来的发展，这称为无后效性。如果所选定的变量不具备无后效性，就不能作为状态变量来构造动态规划模型。;3 决策和策略 （Decision and Policy） 当各段的状态确定以后，就可以做出不同的决定（或选择），从而确定下一阶段的状态，这种决定称为决策。决策变量用xk(Sk)表示，允许决策集合用Dk(Sk)表示。; 各个阶段决策确定后，整个问题的决策序列就构成一个策略，用p1,n(x1,x2,…xn)表示。对每个实际问题，可供选择的策略有一定的范围，称为允许策略集合，用P表示。使整个问题达到最优效果的策略就是最优策略。;4 状态转移方程 动态规划中本阶段的状态往往是上一阶段的决策结果。如果给定了第k段的状态Sk ，本阶段决策为xk(Sk) ，则第k+1段的状态Sk+1由公式： Sk+1=Tk（ Sk， xk） 确定，称为状态转移方程。;5 指标函数 用于衡量所选定策略优劣的数量指标称为指标函数v(Sk,xk(Sk))。 对不同问题，指标函数可以是诸如费用、利润、产量、距离、时间、效用等等。满足可分离、可递推、可加性或可乘性。 k子过程指标函数Vk,n 最优指标函数fk(Sk) ;动态规划的基本思想： 从过程的最后一段开始，用逆序递推方法求解，逐步求出各段各点到终点E最短路线，最后求出A点到E点的最短路线。;;;;;;;;;;;;;;;;;动态规划的函数方程（DP） 建立DP函数方程是指确定过程的阶段及阶段数，规定状态变量和决策变量的取法，给出各阶段的状态集合，允许决策集合，状态转移方程和指标函数等。 ;在上面的计算过程中，利用了第k阶段与第k+1阶段的关系： fk(Sk)= Min d(Sk,dk(Sk))+fk+1(Sk+1) dk(Sk) k=1,2,3,4,5 f6(S6)=0 这种递推关系称为动态规划的函数基本方程。;贝尔曼