DP典型题详细解析.doc

第七章 动 态 规 划 第一讲 概念及最短路问题 动态规划（Dynamic Programming）是20世纪50年代由美国数学家贝尔曼（Richard Bellman）及他的学生们一同建立和发展起来的一种解多阶段决策问题的优化方法。 所谓多阶段决策问题是指一类活动过程。它可按时间或空间把问题分为若干个相互联系的阶段。在每一阶段都要作出选择（决策），这个决策不仅仅决定这一阶段的效益，而且决定下一阶段的初始状态，从而决定整个过程的走向（从而称为动态规划）。每当一阶段的决策一一确定之后，就得到一个决策序列，称为策略。所谓多阶段决策问题就是求一个策略，使各个阶段的效益总和达到最优。 先声明：下面研究的解决多阶段的决策问题的最优化的称之为动态规划的数学方法，仅仅是一种解决问题的思路，而不是一种算法。这一点与线性规划不同。线性规划是一种算法。 下面从一典型的例子去说明动态规划的基本思想与原理： 某地要从A向F地铺设一条输油管道，各点间连线上的数字表示距离。问应选择什么路线，可是总距离最短？ 第一阶段 第二阶段 第三阶段 第四阶段 第五阶段 图7-1 先引入几个符号与概念： （1） 阶段与阶段变量：先把问题从中间站B，C，D，E用空间位置分成5个阶段，阶段用阶段变量k来描述，k=1,表示第一阶段，k=2表示第二阶段，… （2） 状态与状态变量：每一阶段的左端点（初始条件）集合称为本阶段的状态（即开始的客观条件，或称阶段初态）。如第三阶段有四个状态S3 =｛C1 ,C2，C3，C4｝, 第四阶段有三个状态 S4=｛D1, D2 , D3｝, … 描述过程状态的变量称为状态变量：用小写s1 ,s2 ,s3 …表示第一，第二，第三…阶段的状态变量。当处在状态C2时，我们可记 s3= C2 正像离散型R.V“X=2”代表一事件一样。 (3) 决策与决策变量：如当处于C2状态时，下一步怎么走？如何选择路线？即如何决策。是走向D1，还是走向D2？当过程处于某一阶段的某一状态时，可以作出不同的决策（或选择），从而确定下一阶段的状态，这种决定（或选择）叫决策。如选择D2，记 u3（C2）= D2 说，当处于C2状态时，下一步的决策为D2。 其中表示第k阶段当状态处于时的决策变量。 一般地，用表示第k阶段从状态出发的允许决策集合。如 =｛D1 ，D2｝ 显然，∈。 （4）策略与最优策略：每一阶段产生一个决策，5个阶段的决策就构成一个决策序列： ，，，， 称为一策略。所谓策略是指按一定的顺序排列的决策组成的集合，也称决策序列。 这里的最短路径成为最优策略。 动态规划就是在允许策略集中选最优策略。 （5）状态转移方程：是描述由第k阶段到第k+1阶段状态转移规律的关系式。 = 上例中状态转移方程为： = （6）指标函数与最优指标函数：用于衡量所选定策略优劣的数量指标称为指标函数。相当于动态的目标函