数学模型动态规划.doc

动态规划 动态规划(dynamic programming)是运筹学的一个重要分支，它是解决多阶段决策问题的一种有效的数量化方法．动态规划是由美国学者贝尔曼(R．Bellman；取过程在各阶段所处的位置为状态变量，按逆序算法求解。 当时： 由结点M31到达目的地有两条路线可以选择，即选择P1或P2；故： 选择P2 由结点M32到达目的地有三条路线可以选择，即选择P1、P2或P3；故： 选择P2 由结点M33到达目的地也有三条路线可以选择，即选择P1、P2或P3；故： 选择P3 由结点M34到达目的地有两条路线可以选择，即选择P2或P3；故： 选择P2 当时： 由结点M21到达下一阶段有三条路线可以选择，即选择M31、M32或M33；故： 选择M32 由结点M22到达下一阶段也有三条路线可以选择，即选择M31、M32或M33；故： 选择M32或M33 由结点M23到达下一阶段也有三条路线可以选择，即选择M32、M33或M34；故： 选择M33或M34 当时： 由结点M11到达下一阶段有两条路线可以选择，即选择M21或M22；故： 选择M22 由结点M12到达下一阶段也有两条路线可以选择，即选择M22或M23；故： 选择M22 当时： 由结点C到达下一阶段有两条路线可以选择，即选择M11或M12；故： 选择M11 从而通过顺序（计算的反顺序）追踪（黑体标示）可以得到两条最佳的输运线路：C—M11—M22—M32—P2；C—M11—M22—M33—P3。最短的输送距离是280千米。 一个多阶段决策过程最优化问题的动态规划模型通常包含以下要素。 1、阶段 阶段是过程中需要做出决策的决策点。描述阶段的变量称为阶段变量，常用k来表示。阶段的划分一般是根据时间和空间的自然特征来进行的，但要便于将问题的过程转化为多阶段决策的过程。阶段变量一般用表示。 2、状态 状态（state）表示每个阶段开始时过程所处的自然状况。它应能描述过程的特征并且无后效性，即当某阶段的状态变量给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关。通常还要求状态是直接或间接可以观测的。 描述状态的变量称状态变量（state variable）。变量允许取值的范围称允许状态集合(set of admissible states)。用表示第阶段的状态变量，它可以是一个数或一个向量。用表示第阶段的允许状态集合。 个阶段的决策过程有个状态变量，表示演变的结果。 根据过程演变的具体情况，状态变量可以是离散的或连续的。为了计算的方便有时将连续变量离散化；为了分析的方便有时又将离散变量视为连续的。状态变量简称为状态。 3 决策 当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策（decision），在最优控制问题中也称为控制（control）。 描述决策的变量称决策变量（decision variable），变量允许取值的范围称允许决策集合（set of admissible decisions）。用表示第阶段处于状态时的决策变量，它是的函数，用表示的允许决策集合。决策变量简称决策。 4 策略 决策组成的序列称为策略（policy）。由初始状态开始的全过程的策略记作，即. 由第阶段的状态开始到终止状态的后部子过程的策略记作，即 ，. 类似地，由第到第阶段的子过程的策略记作. 可供选择的策略有一定的范围，称为允许策略集合(set of admissible policies)，表示。 5. 状态转移方程 在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。用状态转移方程（equation of state transition）表示这种演变规律，写作 （1） 6. 指标函数和最优值函数 指标函数(objective function)是衡量过程优劣的数量指标，它是定义在全过程和所有后部子过程上的数量函数，用表示，。指标函数应具有可分离性，即可表为的函数，记为 并且函数对于变量是严格单调的。 过程在第阶段的阶段指标取决于状态和决策，用表示。指标函数由组成，常见的形式有： 阶段指标之和，即 ， 阶段指标之积，即 ， 阶段指标之极大（或极小），即 . 这些形式下第到第阶段子过程的指标函数为。 根据状态转移方程指标函数还可以表示为状态和策略的函数，即。在给定时指标函数对的最优值称为最优值函数（optimal value function），记为，即 ， 其中可根据具体情况取或。 7 最优策略和最优轨线 使