4-动态规划.ppt

动态规划 第一节 动态规划的基本原理 一、动态规划的基本概念 二、递推方程与最优化原理 第二节 动态规划的数学模型和求解方法 一、动态规划的数学模型 二、动态规划的求解方法 第三节 多维动态规划简介 一、多维动态规划问题的数学模型与求解方法的改进途径 二、动态规划逐次渐近法 三、离散微分动态规划法 四、系统方程的可逆性 动态规划 动态规划（Dynamic Programming），缩写为DP，是本世纪50年代初期由美国数学家贝尔曼（Richard E．Bellman）等人提出，逐渐发展起来的数学分支，它是一种解决多阶段决策过程最优化问题的数学规划法。 动态规划的数学模型和求解方法比较灵活，对于系统是连续的或离散的，线性的或非线性的，确定性的或随机性的，只要能构成多阶段决策过程，便可用动态规划推求其最优解。因而在自然科学、社会科学、工程技术等许多领域具有广泛的用途，比线性规划、非线性规划更有成效，特别对于离散型问题，解析数学无法适用，动态规划就成为非常有用的求解工具。 它在广泛应用中的主要障碍是“维数灾”，即当问题中的变量个数（维数）太大时，由于计算机内存贮量和计算速度限制，而无法求解。 第一节 动态规划的基本原理 一、动态规划的基本概念（一）动态规划的基本思路在客观事物中，存在着这样一类问题: 可以按照时间或空间特性将其划分为若干个互相联系的阶段； 在每个阶段都需要做出决策，并且一个阶段的决策将影响下阶段的状态； 所有阶段决策构成一个决策序列，称为策略； 每个策略都对应一个效果。所选择的策略应使整个过程获得最优效果。 这类问题称为多阶段决策过程，动态规划就是按照上述思路寻求问题最优解的工具。 一、动态规划的基本概念-（一）动态规划的基本思路 例如，以灌溉或发电为目标的年调节水库调度问题，就是一个多阶段决策过程。一年可以按时间分成若干阶段。在每个阶段，以水库蓄水量（或水位）为状态变量，以放水量为决策变量，把灌溉效益或发电量最大化作为目标函数。在满足约束条件下确定各时段放水量，即组成一个决策序列。如果所选定的各时段放水量能使全年灌溉或发电效益最大，这就是一个最优策略，即最优调度方案。由于各阶段决策与时间进程有关，故称为动态规划。 动态规划不仅能解决与时间有关的优化问题，而且也能解决与时间无关的静态问题。例如，资源分配问题、投资分配问题、最优线路问题、结构优化问题等。只要能够把问题分成多个阶段或步骤进行决策，就可用动态规划寻求最优解。 一、动态规划的基本概念-（一）动态规划的基本思路 由本例可以看出，用动态规划法求解的问题，必须具备以下特点： ① 所研究的系统能划分成若干阶段(或步骤)； ② 每个阶段都能做出决策； ③ 相邻两个阶段的状态能够转移，这种转移是 通过使用某一决策而实现的。 所以动态规划是既把整个过程分为若干阶段，又要考虑相邻两阶段之间关系的一种方法。 一、动态规划的基本概念-（二）多阶段决策过程 设某系统随时间或空间变化，其演变过程可划分为若干个阶段，系统在各阶段的状态由状态序列｛s1，s2，…，sn，sn+1，…，sN+1｝来表征。若n＋1阶段的状态sn+1是由n阶段的状态sn经过转移而形成，即 sn+1=g(sn,dn) 该式称为状态转移方程。并且这种转移是在一定约束下进行选择的，则相应状态转移的选择就是决策dn，转移过程就是决策的结果。 每个阶段要做出一种决策，从而使整个过程获得最优效果。这一过程就称为多阶段决策过程，或称为序列过程，如下图所示（状态转移图）。 因此，多阶段决策过程应看成是阶段、状态、决策以及和它们相关联的效果的综合体。 一、动态规划的基本概念-（二）多阶段决策过程 1．阶段 在这里，阶段可定义为所研究的事物在发展中所处的时段或步骤（或某一局部空间），有时称为级，又称步。以序列数字n＝l，2，…，N表示，常称为阶段变量或级变量，表示阶段的次序或阶段数。 如果所研究的问题，其演变过程是离散的，则阶段变量自然以上述自然数表示，如［例 1]中我们将输水路线编为 n=1，2，3, 4等 4个阶段。 如果问题演变的过程是连续的，且为时间连续，则阶段变量可用t表示，并定义在过程演变的整个时间区间，即t始≤t≤t终。但是在用动态规划求解时，连续的阶段变量t仍须按时间增量?t进行离散化。离散化的t值，可由离散序列n=1，2，…，N表示，相应于n的阶段末t值为t=t始+n?t。 一、动态规划的基本概念-（二）多阶段决策过程 2．状态 描述系统演变过程中各阶段所处状况的特征量称为状态,常以s表示。在任一阶段n可有若干个状态，构成该阶段的状态集合sn。 sn={sn1,sn2,…,snr}式中，r