《运筹学研究生辅导课件》第二章 动态规划_438复习课程.ppt

第二章 动态规划;2;2;2;2;2;2;2;2;2;2;2;2;2;1、阶段（stage） 为了便于求解和表示决策过程的发展顺序，而把所给问题恰当地划分为若干个相互联系又有区别的子问题，称之为多段决策问题的阶段。一个阶段，就是需要作出一个决策的子问题，通常，阶段是按决策进行的时间顺序或空间特征上先后顺序划分的。用以描述阶段的变量叫作阶段变量，一般以k表示阶段变量．阶段数等于多段决策过程从开始到结束所需作出决策的数目，例如上面的最短路问题就是一个四阶段决策过程。 ;2、状态（state） 每个阶段开始时过程所处的自然状况或客观条件。反映状态变化的量叫做状态变量，它可以用一个数，一组数或一向量来描述， 。状态变量必须包含在给定的阶段上确定全部允许决策所需要的信息。它应能描述过程的特征并具有“无后效性”，即当前阶段状态给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关。用sk表示状态变量 （state variable）。; 一般状态变量的取值有一定的范围或允许集合，称为可能状态集（set of admissible states） 。可能状态集实际上是关于状态的约束条件。通常可能状态集用相应阶段状态sk的大写字母Sk表示，可能状态集可以是一离散取值的集合，也可以为一连续的取值区间，视具体问题而定．例如上面的最短路问题中，第一阶段状态为A，状态变量s1的状态集合S1={A}；第二阶段则有三个状态：B1 ,B2 ,B3 ,状态变量s2的状态集合S2={B1 ,B2 ,B3 } .;3、决策（decision） 当一个阶段的状态确定后，可以作出不同的决定或选择，从而演变到下一阶段的某个状态，这种决定或选择称为决策。 用以描述决策变化的量称之决策变量（decision variable） 。和状态变量一样，决策变量可以用一个数，一组数或一向量来描述，由于各阶段的决策取决于状态变量sk，所以用 uk(sk)，表示阶段k的状态为sk时的决策变量。 决策变量的取值往往也有一定的允许范围，称之允许决策集合（set of admissible decision）。决策变量uk(sk)的允许决策集用Uk(sk)表示, 允许决策集合实际是决策的约束条件。; ;5、状态转移方程（equation of state transition） 反映前后阶段状态之间关系的方程称为状态转移方程。在确定型多阶段决策过程中，一旦某阶段的状态和决策为已知，下一阶段的 状态便完全确定，用状态转移方程反映这种状态间的演变规律，记作：;6、阶段指标值（objective value in a stage） 阶段指标值是第k阶段的状态为sk和采取决策uk时的效益，通常表示为 dk（sk，uk）。 对不同问题，阶段指标值可以是诸如费用、成本、产值、利润、产量、耗量、距离、时间，等等。例如上面的最短路问题中，如果第二阶段地状态为B2,采取决策是由B2到达C1,则阶段指标值为6。;7、指标函数（objective function） 衡量在选定某策略时，其优劣的数量指标。 定义在整个过程（1到n阶段）上的指标函数记为：V1,n（s1，u1，s2，…，sn，un）， 定义在后部子过程（k到n阶段）上的指标函数记为： Vk,n（sk，uk，…，sn，un）。 Vk,n（sk，uk，…，sn，un） 表示第k阶段处于sk状态且所作决策为uk, uk+1, …, un时的决策效果。 由此可见， Vk,n（sk，uk，…，sn，un）不仅跟当前状态sk有关，还跟该子过程策略pk,n(sk)有关，因此它是sk和pk,n(sk)的函数，因此它可简记为：Vk,n（sk， pk,n ） ; 指标函数Vk,n（sk， pk,n ）通常是描述所实现的全过程或k后部子过程效果优劣的数量指标，它是由各阶段的阶段指标函数dk（sk，uk）累积形成的，适于用动态规划求解的问题的指标函数，必须具有关于阶段指标的可分离形式．对于后部子过程的指标函数可以表示为： ; 总之，具体问题的目标函数表达形式需要视具体问题而定。;8、最优指标函数（optimal value function） 指标函数的最优值称为最优指标函数，记为fk(sk)，它表示从第k阶段状态 sk 出发，采用最优策略到终止状态时的后部子过程指标函数值，即;即 ; 多阶段决策问题的数学模型 综上所述，适于应用动态规划方法求解的一类