4.运筹学-动态规划研讨.ppt

动态规划 Dynamic Programming（DP） 动态规划 动态规划 Dynamic Programming（DP） 引言 动态规划作为运筹学的一个重要分支是解决多阶段决策过程最优化的一种非常有效的方法。1951年，美国数学家贝尔曼（ R . Bellman ）等人，根据一类多阶段决策问题的特点，把多阶段决策问题变换为一系列相互联系的单阶段决策问题，然后分阶段逐个加以解决。贝尔曼等人在研究和解决了大量实际问题之后，提出了解决这类问题的——所谓“最优性原理”，通常称为“贝尔曼最优化原理”，从而创建了解决最优化问题的一种新的方法 —— 动态规划 ——（Dynamic Programming）。贝尔曼的名著《动态规划》于1957年出版，这成了动态规划的第一本著作。 动态规划 Dynamic Programming（DP） 动态规划的方法，在工程技术、企业管理、工农业生产及军事等部门中有着广泛的应用，并且获得了显著的效果。在经济管理方面，动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存问题、装载问题、排序问题、设备更新问题、生产过程最优控制问题等等，他是现代企业管理中的一种重要的决策方法。 许多实际问题采用动态规划方法去处理，常比线性规划或非线性规划更加有效。特别对于离散性的问题，由于解析数学无法施展其术，而动态规划的方法就成为一种非常有效的工具。 动态规划 Dynamic Programming（DP） 应特别指出的是，动态规划是解决某一类问题的一种方法，是分析问题的一种途径，而不是一种特殊算法（如线性规划是一种算法）。因而，它不象线性规划那样有一个标准的数学表达式和明确定义的一组规则，而必须对具体问题进行具体分析处理。因此，在学习动态规划时，除了对基本概念和方法正确地理解外，应以丰富的想象力去建立模型，用创造性的技巧去求解。正如贝尔曼本人所说：“由于动态规划的最优化原理仅仅是一种基本原理，正是它的某种不确定性为你提供了发挥你创造性思维的巨大空间 !” 动态规划 Dynamic Programming（DP） 整个决策过程可按时间或空间顺序分解成若干相互联系的阶段，每一阶段都需作出决策，全部过程的决策是一个决策序列。 多阶段决策过程最优化的目标： 达到整个活动过程的总体效果最优，而非各单个阶段最优的简单总和。 动态规划 Dynamic Programming（DP） 多阶段决策问题举例： 例1 时间阶段例子(生产负荷问题)某种机器可以在高、低两种负荷下进行生产。高负荷年产量8，年完好率0.7；低负荷年产量5，年完好率0.9。现有完好机器1000台，需制定一个5年计划，以决定每年安排多少台机器投入高、低负荷生产，使5年的总产量最大。 动态规划 Dynamic Programming（DP） 例2 空间阶段的例子（最短路问题）如图为一线路网络。现要从A点铺设一条管道到G点，图中两点间连线上数字表示两点间距离。现需选一条由A到G的铺管线路，使总距离最短。 动态规划 Dynamic Programming（DP） 动态规划 Dynamic Programming（DP） 以上两个例子代表了这样一种特殊的决策过程，该过程可分为互相联系的若干阶段，每一阶段都需作出决策，从而形成全过程的决策。这样把一个问题看作一个前后关联具有链状结构的多阶段过程称为多阶段决策过程，也称为序贯决策，相应的问题称为多阶段决策问题。 动态规划 Dynamic Programming（DP） 基本概念： 1、阶段（stage） 对整个决策过程的自然划分，通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序逐段解决整个过程的优化问题。阶段变量通常用k表示（k = 1，2，3，…，n）。 2、状态（state） 每个阶段开始时过程所处的自然状况或客观条件。它应能描述过程的特征并具有“无后效性”，即当前阶段状态给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关。 状态变量 —— sk（state variable） 状态集合 —— Sk（set of admissible states） 动态规划 Dynamic Programming（DP） 3、决策（decision） 当一个阶段的状态确定后，可以作出不同的决定或选择，从而演变到下一阶段的某个状态，这种决定或选择称为决策。 决策变量 —— uk（sk） （decision variable）简记为 uk 决策集合 ——