[管理学]第十章 动态规划.pptVIP

第十章 动态规划 本章主要内容： 1、动态规划的基本思想； 2、动态规划中的概念； 3、动态规划的求解过程。 一、动态规划的基本思路 引例：下页网络图表示某城市的局部道路分布图。一货运汽车从S出发，最终到达目的地E。其中Ai(i＝1，2，3)，Bj(j＝1，2)和Ck(k＝1，2)是可供汽车选择的途经站点，各点连线上的数字表示两个站点间的距离。 问此汽车应走哪条路线，使所经过的路程距离最短? 解决的办法 第一种方法：穷举法。 第二种方法：“局部最优路径”法， 即“逢近便走”。 第三种方法是动态规划方法。将问题划分为4个阶段，分阶段来解决。 动态规划的最优化原理 对于最优策略过程中的任意状态而言，无论其过去的状态和决策如何，余下的诸决策必构成一个最优子策略。 即：如果Q=X1→X2→…→Xk→Xk+1→…→ Xn→E最优，则对任意K： Xk → Xk+1→… → Xn→E亦最优。 反之亦然。 动态规划的基本思路 基于以上原理，逆序推导。 即从过程的最后阶段开始考虑，然后逆着实际过程发展的顺序，逐段向前递推计算直至始点。 动态规划之逆序标号法： 二、动态规划的基本概念 使用动态规划方法解决多阶段决策问题，首先要将实际问题写成动态规划模型。 为了后面叙述和讨论方便，这里需要了解动态规划的一些基本术语。 1、阶段和阶段变量k 一个阶段，就是需要作出一个决策的子问题，通常，阶段是按决策进行的时间或空间上的自然特征划分的。 用以描述阶段的变量叫作阶段变量，一般以k表示阶段变量。 阶段数等于多段决策过程从开始到结束所需作出决策的数目。 2、状态、状态变量sk和可能状态集 状态：每个阶段开始时所处的自然状况或客观条件。 状态变量sk ：用以描述状态的量。 可能状态集：状态变量可能的取值集合。 3、决策、决策变量xk和允许决策集合 决策：某一阶段内的选择。 决策变量xk ：用以描述决策变化的量。 允许决策集合：决策变量取值的允许范围。 4、策略 全过程策略：由各阶段的决策组成的决策函数序列，记为p1，n（s1）； k子策略：从第k阶段开始到最后阶段的决策组成的决策函数序列，记为pk，n（sk）。 5、指标函数 指标函数：用来衡量策略或子策略的效果的数量指标。 最优指标函数：某阶段状态下指标函数的最优值，记为f1（s1）或fk（sk）。 阶段指标函数（也称阶段效应）：记为rk（sk，xk）表示第k阶段处于sk状态且所作决策为xk时的指标。 6、状态转移方程 系统由阶段k到阶段k+1的状态转移完全由阶段k的状态sk和决策xk(sk)所确定，系统状态的这种转移，用数学公式描述即有： sk+1 =Tk（sk, xk） 7、基本方程 对于一个n阶段的动态规划问题，k子过程与k+1过程的最优指标函数之间有如下递推关系： fk(sk)=min｛rs(sk,xk)+fk+1(sk+1)｝,k=1,2…n k=n+1时，即终点条件为： fn+1(sn+1)=0 三、动态规划的求解过程 基本步骤： 1、合理确定阶段变量、状态变量和决策变量； 2、写出状态转移方程； 3、写出递推基本方程； 4、从最后阶段开始逆序求解。 1、资源分配问题 例：有资金4万元，投资A、B、C三个项目，每个项目的投资效益与投入该项目的资金有关。 三个项目A、B、C的投资效益（万吨）和投入资金（万元）关系见下表： 首先分析问题，确定变量和方程 阶段变量k：每投资一个项目作为一个阶段； 状态变量sk：投资第k个项目前的可供使用的资金数； 决策变量xk：第k个项目的投资额； 决策允许集合：0≤xk≤sk 状态转移方程：sk+1=sk-xk 阶段指标：rk(sk ,xk)即上表所示投资效益； 递推方程：fk(sk)=max{rk(sk ,xk)+fk+1(sk+1)} 终点条件：f4(s4)=0 从第三阶段开始，逆序依次计算 第二阶段 第一阶段 2、背包问题 设有n种物品，每一种物品数量无限。第i种物品每件重量为wi，每件价值ci。现有一只可装载重量为W的背包，求各种物品应各取多少件放入背包，使背包中物品的价值最高。 对于一个具体问题：n=3，c1=65，c2=80，c3=30；w1=2，w2=3，w3=1；W=5 用动态规划求解，先建立模型： 阶段k：第k次装载第k种物品（k=1，2，3） 状态变量sk：第k次装载时背包还可以装载的重量； 决策变量xk：第k次装载第k种物品的件数 决策允许集合：Dk(xk)={dk|0? xk?sk/wk，dk为整数} 状态转移方程：sk+1=sk-wkxk 阶段指标：rk=ckxk 递推方程： fk(sk)=max{ckxk+fk+1(sk+1)} =max{ckxk+fk+1(sk-wkxk)} 终点条件：f4(s4)=0 从