水资源系统分析-第5章动态规划.ppt

第5章 动态规划 5.1 动态规划的基本原理 　　 许多问题属于动态系统，随时间或空间变 化。 1951年美国Bellman提出了最优化原理。 动态规划-DP是解决多阶段决策问题的一种 方法：根据问题的空间或时间特性将过程分为若 干阶段, 在每一阶段中都需作出决策,这种连续 不断的作出的多阶段决策,构成一个策略。 动态规划特点在于，它可以把一个n 维决策问题变换为几个一维最优化问题， 从而简化问题。 动态规划是求解某类问题的一种方 法，是考察问题的一种途径，而不是一种 算法。必须对具体问题进行具体分析，运 用动态规划的原理和方法，建立相应的模 型，然后再求解。 问题复杂度 动态规划有更多成果 5.2 动态规划的基本概念 有后效性的例子 例：水库优化调度问题 一年调节水库，起调水位（枯水期末）与最 终水位均为死水位，相应的蓄水量为死库容，调 度期分为N个阶段，以一年内总效益最大为目标 的动态规划模型如下： (1)阶段变量：t=1,2,…,N；表示调度期内的第t时段(月、旬) (2)决策变量：第t阶段水库供水量xt (3)状态变量：阶段初期水库的蓄水量Vt (7)约束条件： 最优化原理与DP模型 Bellman最优化原理：作为整个过程的最优策略具有这样的性质：无论初始的状态和决策如何，相对于前面的决策所形成的状态而言，余下的决策序列必然构成最优子策略。 也就是说，一个最优策略的子策略也是最优的。 注意避免歧义 按过程演变的特征，动态规划模型划分为确定性模型和随机性模型两大类。 根据状态变量的取值是离散还是连续，它们又可区分为连续和离散两类。 因此有离散确定性模型，连续确定性模型，离散随机性模型和连续随机性模型四大类。 -例 用动态规划求解非线性规划问题- 基本方程的具体形式 x的取值范围： 例 用动态规划求解 5.3 确定性动态规划的应用 1、水资源优化分配问题。某供水系统可供水量为Q，用户数为N，当第k个用户供水xk时所产生的效益为gk(xk)。如何合理分配水量才能使总效益最大？ 3、水库优化调度问题 一年调节水库，起调水位（枯水期末）与最 终水位均为死水位，相应的蓄水量为死库容，调 度期分为N个阶段，以一年内总效益最大为目标 的动态规划模型如下： (1)阶段变量：t=1,2,…,N；表示调度期内的第t时段(月、旬) (2)决策变量：第t阶段水库供水量xt (3)状态变量：阶段初期水库的蓄水量Vt (7)约束条件： 2、非灌溉条件下的作物优化灌溉制度 在给定的作物单位面积可供水量的基础上，作物灌溉制度优化的DP模型： （1）阶段变量：i=1,2…N, 表示作物的第i个生育阶段。 （2）决策变量：第i阶段灌水量mi,(0,I) (3) 状态变量：阶段初可用灌溉水量qi,作物根系层有效土壤水量Wi。 -(4)状态转移方程- 5.4 随机动态规划 在水资源系统中经常受到随机事件和随机因素的影响。 降雨、径流等水文气象因素随机性；各部分的用水量和未来的需水要求，尤其是农业部门，也是不完全确定的；生产费用和材料价格也是经常浮动的，等等。 因此，就一般水资源问题而言多属于非确定性问题，其中有些问题可采用随机规划或管理模型去解决。 状态转移规律是不确定的。 Si+1 = Ti(si,di,Ki )，Ki为随机变量 指标函数包含随机变量。 基本方程应写为： 5.4.1 随机变量相互独立的问题 某室外工程，施工只需一天完成，要求在5天内完成。正值雨季，大雨、小雨、无雨的施工费不同，天气可预报，如何选择施工时间。 解：按天划阶段， :第i天雨情，相应概率Pij Efi(Sij)=Min E{ri(Sij),Efi+1(Si+1,j)} 第5天：若面临状态是前面没施工，无论什么天 气均都施工。 大雨: r5*(S51,u5)=800(元)，p51=0.4 小雨： r5*(S52,u5)=600(元)，p52=0.4 无雨： r5*(S53,u5)=500(元)，p53=0.2 Ef5(S5j)=800╳0.4+600╳0.4+500╳0.2=660(元) Ef4(S4j)=Min E{r4(S4j,u4j),Ef5(S5j)} f4*(S41,u41)=Min{800,660}=660 大雨不施工 f4*(S42,u42)=Min{600,660}=600 小雨施工 f4*(S43,u43)=Min{500,660}=500 无雨施工 Ef4(S4j)=0.4*660+0.4*600+0.2*500=604 Ef3