第10章动态规划讲解.ppt

第十章 动态规划 §1 多阶段决策过程最优化问题举例 §2 基本概念、基本方程与最优化原理 §3 动态规划的应用(1) §4 动态规划的应用(2) §1 多阶段决策过程最优化问题举例 例1 最短路径问题 下图表示从起点A到终点E之间各点的距离。求A到E的最 短路径。 §1 多阶段决策过程最优化问题举例 用穷举法的计算量: 如果从A到E的站点有k个，除A、E之外每站有3个位置则 总共有3k-1×2条路径； 计算各路径长度总共要进行 (k+1) 3k-1×2次加法以及3k- 1×2-1次比较。随着 k 的值增加时，需要进行的加法和比较的 次数将迅速增加； 例如当 k=20时，加法次数为 4.2550833966227×1015 次， 比较 1.3726075472977×1014 次。若用1亿次/秒的计算机计算 需要约508天。 §1 多阶段决策过程最优化问题举例 讨论： 1、以上求从A到E的最短路径问题，可以转化为四个性质完全相 同，但规模较小的子问题，即分别从Di 、Ci、Bi、A到E的最短路 径问题。 第四阶段：两个始点D1和D2，终点只有一个； 表10-1 分析得知：从D1和D2到E的最短路径唯一。 一、动态规划的基本概念 1.阶段 阶段(stage)是对整个过程的自然划分。通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序解优化问题。阶段变量一般用k=1,2,..,n表示。在例1中由A出发为k=1，由Bi(i=1,2，3,4)出发为k=2，依此下去从Di(i=1,2,)出发为k=4，共n=4个阶段。 2.状态 状态(state)表示每个阶段开始时过程所处的自然状况。它应该能够描述过程的特征并且具有无后向性，即当某阶段的状态给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关，即每个状态都是过去历史的一个完整总结。通常还要求状态是直接或间接可以观测的。 描述状态的变量称状态变量(state variable)。变量允许取值的范围称允许状态集合(set of admissible states)。用xk表示第k阶段的状态变量，它可以是一个数或一个向量。用Sk表示第k阶段的允许状态集合。在例1中S2可取B1，B2， B3，B4 ,则S2={B1,B2， B3，B4}。 n个阶段的决策过程有n+1个状态变量，Sn+1表示Sn演变的结果，在例1中S5取E。 根据过程演变的具体情况，状态变量可以是离散的或连续的。为了计算的方便有时将连续变量离散化；为了分析的方便有时又将离散变量视为连续的。 3.决策 当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策(decision)。 决策是所在状态的函数，记为xk(sk)。例如x2(B1)=C2表示第2阶段处于B1为始点的状态下选择了由B1到C2的决策。 4.策略 决策组成的序列称为策略(policy)。由初始状态x1开始的全过程的策略记作p1,n(S1)，即p1,n(S1)={x1(S1),x2(S2),...，xn(Sn)}。由第k阶段的状态xk开始到终止状态的后部子过程的策略记作pk,n(Sk)，即pk,n(sk)={xk(sk),xk+1(sk+1),...，xn(sn)}。类似地，由第k到第j阶段的子过程的策略记作pk,j(sk)={xk(sk),xk+1(sk+1),...，xj(sj)}。 5.指标函数 指标函数是衡量全过程策略或K子过程策略优劣的数量指标，指标函数的最优指称之为最优指标函数，记为 6.状态转移方程 在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。用状态转移方程(equation of state)表示这种演变规律，写作: sk+1=Tk(sk ,,xk). 在例1中状态转移方程为：s3=C1=T2(B2,C1) 表示当第2个阶段的状态（始点）为B2，决策（终点）为C1时，则第3阶段的状态（始点）为C1 二、基本方程 终端条件：为了使以上的递推方程有递推的起点，必须要设定最优指标的终端条件，一般最后一个状态n+1下最优指标fn+1(sn+1) = 0。 例1: 一般的递推关系 其中opt可根据具体情况取max或min。上式的意义是，对于某个阶段k的某个状态sk，从该阶段k到最终目标阶段n的最优指标函数值等于从sk出发取遍所有能策略pk所得到的最优指标值中最优的一个。 §3 动态规划的应用(1) §3 动态规划的应用(1) 四、系统可靠性问题