运筹学第6章 动态规划-第1,2节.pptVIP

第1节 多阶段决策过程及实例 动态规划（Dynamic Programming）是20世纪50年代由美国数学家贝尔曼（Richard Bellman）等人，建立和发展起来的。 动态规划是解决一类多阶段决策问题的优化方法，也是考察问题的一种途径，而不是一种算法，它不象LP那样有一个标准的数学表达式和明确定义的一组规则，必须对具体问题进行具体分析处理。 动态规划方法是现代企业管理中的一种重要决策方法。如果一个问题可将其过程划分为若干个相互联系的阶段问题，且它的每一阶段都需进行决策，则这类问题均可用动态规划方法进行求解。 根据多阶段决策过程的时序和决策过程的演变，动态规划方法有以下四种类型：离散确定性、离散随机性、连续确定性和连续随机性。 本部分主要研究离散决策过程，介绍动态规划的基本概念、理论和方法，并通过几个典型的问题来说明它的应用，这些都是整个动态规划的基本内容。 例1：最短路线问题 如图，给定一个线路网络，两点之间连线上的数字表示两点间的距离（或费用），试求一条由A到G的铺管线路，使总距离为最短（或总费用最小）。 例2 ：机器负荷分配问题 某种机器可以在高低两种不同的负荷下进行生产。在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u的关系为 g＝g(u)，这时机器的年完好率为a（0a1)。在低负荷下生产时，产品的年产量h和投入生产的机器数量v的关系为h＝h(v)，这时机器的年完好率为b（ab1）。 假定开始生产时完好的机器数量为s1，要求制定一个五年计划，在每年开始时决定机器在两种不同负荷下生产的数量，使五年内产品的总产量最高。 以上两个问题都可以划分为先后多个决策阶段。这类问题就称为多阶段决策问题。 多阶段决策问题的过程如图所示： 多阶段决策问题和我们前面遇到的决策问题不同，它是和时间有关的。与时间有关的活动过程称为动态过程，其优化方法称为动态规划。而与时间无关的活动过程称为静态过程，相应的优化方法称为静态规划。 第2节 动态规划的基本概念和基本方程2.1 动态规划的基本概念 引例 某地要从A向F地铺设一条输油管道，各点间连线上的数字表示距离。问应选择什么路线，可是总距离最短？ 先引入几个符号与概念： （1） 阶段与阶段变量：先把问题从中间站B，C，D，E用空间位置分成5个阶段，阶段用阶段变量k来描述，k=1,表示第一阶段，k=2表示第二阶段，… （2） 状态与状态变量：每一阶段的左端点（初始条件）集合称为本阶段的状态（即开始的客观条件，或称阶段初态）。如第三阶段有四个状态S3 =｛C1,C2,C3,C4｝,第四阶段有三个状态 S4=｛D1,D2,D3｝, … 描述过程状态的变量称为状态变量：用小写s1 ,s2 ,s3 …表示第一，第二，第三…阶段的状态变量。当处在状态C2时，我们可记 s3= C2 （3）决策与决策变量：如当处于C2状态时，下一步怎么走？如何选择路线？即如何决策。是走向D1，还是走向D2？ 当过程处于某一阶段的某一状态时，可以作出不同的决策（或选择），从而确定下一阶段的状态，这种决定（或选择）叫决策。 如选择D2，记 u3（C2）= D2 。说明，当处于C2状态时，下一步的决策为D2。 其中 表示第k阶段当状态处于 时的决策变量。 一般地，用 表示第k阶段从状态 出发的允许决策集合。 如 =｛D1 ，D2｝ 显然， ∈ 。 （4）策略与最优策略：每一阶段产生一个决策，5个阶段的决策就构成一个决策序列： ， ， ， ， 称为一策略。所谓策略是指按一定的顺序排列的决策组成的集合，也称决策序列。 这里的最短路径称为最优策略。 动态规划就是在允许策略集中选最优策略。 （5）状态转移方程：是描述由第k阶段到第k+1阶段状态转移规律的关系式。 = 上例中状态转移方程为： = （6）指标函数与最优指标函数：用于衡量所选定策略优劣的数量指标称为指标函数。相当于动态的目标函数，最后一个阶段的目标函数就是总的目标函数。 它分阶段指标函数和过程指标函数。 阶段指标函数是指第k阶段，从状态 出发，采用决策 时的效益，用 表示。 最优指标函数是指从第k阶段状态 采用最优策略到过程终止时的最佳效益值，用 表示。 例如：d（C2, D1）是指由C2出发