动态规划及其在数学模型中应用.docVIP

动态规划及其在数学模型中应用 　　摘要：动态规划（Dynamic Programming）的方法是二十世纪五十年代提出。在过去五十多年的进程中，动态规划在运筹学、控制论、管理科学等领域的发展中，都发挥了无可比拟的领军作用，成为解决数学建模问题最常用的优化方法之一。 　　关键词：动态规划；数学模型；计算科学 　　 　　1动态规划的起源与发展 　　 　　动态规划是解决多阶段决策过程最优化的一种方法，大约产生于20世纪50年代。1951年，美国数学家理查德?贝尔曼根据一类多阶段决策问题的特点，把多阶段决策问题表示为一系列单阶段问题，即把一个N-变量问题作为一系列的N个问题而逐个加以解决，提出了解决这类问题的“最优化原理”，并将其应用于很多实际问题的研究，从而建立了运筹学的一个分支-动态规划。1957年理查德?贝尔曼在美国普林斯顿大学发表了第一本正式的著作。随后理查德?贝尔曼及其他科学工作者发表了一些列动态规划应用的著作，包括动态规划在最佳控制论、资源理论、工业工程、经济学、管理科学、变分法和马尔柯夫过程中的应用。动态规划的发展始终伴随着它的广泛应用而不断臻善的。 　　 　　2动态规划的优点与局限 　　 　　动态规划的核心思想是贝尔曼提出的最优化原理，这个原理导致了分阶段决策的方法。分阶段决策的方法是建立在整体最优化的基础上的，在寻求某一阶段的决策时，不仅要考虑局部的利益，而且应考虑总体的最优。 　　动态规划通过将一个N维变量的复杂问题进行分阶段处理，把N维变量问题变成求解N个单变量问题，大大简化求解过程，节省巨大的计算量，这是经典的求解极值方法所做不到的。 　　动态规划几乎超越了所有现在的计算方法，特别是经典最优化方法，它能确定出绝对（全局）极大或极小，而不是相对（局部）的极值，使得我们不再需要关心伤脑筋的局部极大或极小问题。 　　动态规划的另一特点是泛函方程的“嵌入”特性。动态规划方法求出的不仅是对整个过程的某一特定状态的一个解，而且也是对所有后部子过程的所有可能出现状态的一族解。 　　动态规划方法的局限性表现有以下几个方面： 　　第一，到目前为止，动态规划还没有一个统一的标准模型可供使用。实际问题不同，其动态规划模型可能各异，虽然理论上说可以把其他数学规划问题化为动态规划模型求解，但是这种转化的过程对于复杂的数学规划问题将变得十分困难。 　　第二，构造动态规划模型时，状态变量必须满足“无后效性”条件，这是一个相当强的条件。因为它不仅依赖于状态转移规律，还与允许决策集合和指标的结构有关，不少实际问题在取自然特征作为状态变量时，往往不满足这个条件，减低了动态规划通用性，当然原则上说，采用适当增多状态变量的办法，总能人为地把过程变为无后效的，但动态规划还存在下述局限，所以这种作法的实际意义不大。 　　第三，用动态规划方法进行数值求解时的主要问题是所谓“维数障碍”，这里状态变量与决策变量不是一回事。若状态变量大于2或3，计算时涉及较大的存储量和计算量。状态空间维数越高，即描述状态空间的向量分量越多，所遇到的计算困难将变得越大。 　　 　　3动态规划的术语 　　 　　研究系统优化时，遇到的系统可以是一个物理系统，也可能是可操作的系统，也可以是一个概念的系统。但是，使用动态规划来研究系统时，必须将系统的现实而具体的术语变为数学的统一术语。 　　3.1 阶段 　　阶段是指系统需要做出决策的步骤，即把系统顺序地向前发展划分为若干个相互联系的阶段，使能按阶段的次序求解。描述阶段的变量称为阶段变量。在多数情况下，阶段变量是离散的，用k表示。离散动态规划问题应理解为，阶段过程结构是离散的，而不是状态变量的结构是离散的。阶段变量的连续情况也是存在的。当阶段变量为时间，且可在任意的时间做决策时，阶段变量是连续的。阶段变量的主要作用是按顺序编出所研究过程划分的编号。 　　3.2 状态 　　状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意识为转移，也称为不可控因素。 　　过程的状态通常可以用一个或一组变数描述，称为状态变量。常用λk表示第k阶段的某一状态。状态变量可以是离散的，也可以是连续的。但是，在现实世界中，实际上没有连续的变量，或者是由于我们所遇到的就是离散的实体，或者是由于所有物理测量中所固有的精确度的限制。然而，在处理某些问题时，数学连续性则是一种有益的假设。状态可以是单变量，也可以是向量，它可以用若干分量在任何阶段上对系统进行描述。状态变量取值的集合称为状态集合。 　　我们要求状态具有下面的性质：当前与未来的收益（或代价），将仅仅取决于当前的状态，并不依赖于过去的状态和决策的历史，即，不依赖于所论过程的那些过去状态下所做的决策。这个性质称为无后效性。这正是在多阶段决策过程中表