动态规划_图文.pptVIP

动态规划的基本概念及思想 动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过(multistep decision process)的优化问题时，提出了著名的最优化原(principle of optimality)，1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。 动态规划的基本概念及思想 在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。当然，各个阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展，当各个阶段决策确定后，就组成一个决策序列，因而也就确定了整个过程的一条活动路线，如图所示： 这种把一个问题看作是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问题就称为多阶段决策问题。 动态规划的基本概念及思想 多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化问题的方法为动态规划方法。 动态规划的基本概念及思想 　动态规划程序设计是对解最优化问题的一种途径、一种方法，而不是一种特殊算法。 不具有一个标准的数学表达式和明确清晰的解题方法。动态规划程序设计往往是针对一种最优化问题，由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的设计方法对不同的问题，有各具特色的解题方法，而不存在一种万能的动态规划，可以解决各类最优化问题。必须具体问题具体分析处理，以丰富的想象力去建立模型 动态规划模型的建立 一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素： 1： 阶段 阶段（stage）是对整个过程的自然划分。通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。阶段变量一般用k=1.2….n.表示。 动态规划模型的建立 2 ：状态 状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。它应能描述过程的特征并且具有无后效性。描述状态的变量称为状态变量 ，状态变量的取值集合称为状态集合，用S表示。变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。用X(k)表示第k阶段的允许状态集合。n 个阶段的决策过程有n+1个状态变量 动态规划模型的建立 3：决策 当一个阶段的状态确定后，可以做出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策。用表示第k阶段处于阶段x(k)的决策变量，它是x(k)的函数，用 表示x(k)的允许决策集合决策变量简称决策。 动态规划模型的建立 5.状态转移方程 在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态偏完全可 以确定。用状态转移方程 表示这种演变规律，写作： 动态规划模型的建立 用动态规划法解决问题步骤 用动态规划求解TSP问题 用动态规划求解TSP问题 用动态规划求解TSP问题 用动态规划求解TSP问题 用动态规划求解TSP问题 用动态规划求解TSP问题 动态规划求解思想 虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划，只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。 动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。 * 无后效性： 将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又称为无后效性。 4.策略 决策组成的系列称为策略（policy）。由初始状态x1开始的全过程的策略记作 由第k阶段的状态x(k)开始到终止状态的后部子 过程的策略 , . 6.阶段指标函 对于k阶段的状态x(k)，当