动态规划的基本概念.pptVIP

运 筹 学 动态规划 第五章 动态规划 动态规划是运筹学的一个重要分支，它是从1951年开始，由美国人贝尔曼（R.Belman）为首的一个学派发展起来的。动态规划在经济、管理、军事、工程技术等方面都有广泛的应用。 动态规划是解决多阶段决策过程的最优化问题的一种方法。所谓多阶段决策过程是指这样一类决策过程：它可以把一个复杂问题按时间（或空间）分成若干个阶段，每个阶段都需要作出决策，以便得到过程的最优结局。由于在每个阶段采取的决策是与时间有关的而且前一阶段采取的决策如何，不但与该阶段的经济效果有关，还影响以后各阶段的经济效果，可见这类多阶段决策问题是一个动态的问题，因此，处理的方法称为动态规划方法。然而，动态规划也可以处理一些本来与时间没有关系的静态模型，这只要在静态模型中人为地引入“时间”因素，分成时段，就可以把它看作是多阶段的动态模型，用动态规划方法去处理。 动态规划对于解决多阶段决策问题的效果是明显的，但也有一定的局限性。首先，它没有统一的处理方法，必须根据问题的各种性质并结合一定的技巧来处理；另外当变量的维数增大时，总的计算量及存贮量急剧增大。由于计算机的存贮量及计算速度的限制，目前的计算机仍不能用动态规划方法来解决较大规模的问题，这就是所谓“维数障碍”。 §1 动态规划的基本概念 1.1 多阶段决策问题 在研究社会经济、经营管理和工程技术领域内的有关问题中，有一类特殊形式的动态决策问题—多阶段决策问题。在多阶段决策过程中，系统的动态过程可以按照时间进程分为相互联系而又相互区别的各个阶段，在每个阶段都要进行决策。系统在每个阶段存在许多不同的状态，在某个时点的状态往往要依某种形式受到过去某些决策的影响，而系统的当前状态和决策又会影响系统过程今后的发展。因而在寻求多阶段决策问题的最优解时，重要的是不能仅仅从眼前的局部利益出发进行决策，而需要从系统所经过的整个期间的总效应出发，有预见性地进行动态决策，找到不同时点的最优决策及整个过程的最优策略。 下面举例说明什么是多阶段决策问题。 多阶段决策过程关于目标函数的总效应是各阶段的阶段效应累积形成的。常见的全过程目标函数有以下两种形式： （1）全过程的目标函数等于各阶段目标函数的和，即： R=r1 (x1, u1) +r2 (x2, u2) +…+rn(xn, un) （2）全过程的目标函数等于各阶段目标函数的积，即： R=r1 (x1, u1) ×r2 (x2, u2) ×…×rn(xn, un) 指标函数的最优值，称为最优函数值。一般，f1（x1）表示从第1阶段x1状态出发至第n阶段（最后阶段）的最优指标函数， fk（xk）表示从第k阶段xk状态出发至第n阶段的最优指标函数(k=1，2，…，n）。 §2 动态规划的最优性原理 多阶段决策过程的特点是每个阶段都要进行决策，具有n个阶段的决策过程的策略是由n个相继进行的阶段决策构成的决策序列。由于前阶段的终止状态又是后一阶段的初始状态，因此确定阶段最优决策不能只从本阶段的效应出发，必须通盘考虑，整体规划。就是说，阶段k的最优决策不应只是本阶段的最优，而必须是本阶段及其所有后续阶段的总体最优，即关于整个后部子过程的最优决策。 对此，贝尔曼在深入研究的基础上，针对具有无后效性的多阶段决策过程的特点，提出了著名的多阶段决策的最优性原理： “整个过程的最优策略具有这样的性质：即无论过程过去的状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。” 简而言之，最优性原理的含意就是：最优策略的任何一部分子策略也必须是最优的。 §3 建立动态规划数学模型的步骤 “最优化原理”是动态规划的核心,所有动态规划问题的递推关系都是根据这个原理建立起来的,并且根据递推关系依次计算,最终可求得动态规划问题的解。 一般来说，利用动态规划求解实际问题需先建立问题的动态模型，具体步骤如下： ⒈将问题按时间或空间次序划分成若干阶段。有些问题不具有时空次序，也可以人为地引进时空次序，划分阶段。 ⒉正确选择状态变量xk。这一步是形成动态模型的关键，状态变量是动态规划模型中最重要的参数。一般来说，状态变量应具有以下三个特性： ⑴要能够用来描述决策过程的演变特征。 ⑵要满足无后效性。即如果某阶段状态已给定后，则以后过程的进展不受以前各状态的影响，也就是说，过去的历史只通过当前的状态去影响未来的发展。