04--第四章 动态规划和其应用.ppt

物流运筹学方法 缪兴锋 教授/高级工程师 联系方法：634378 E-mail: wuliuxitong@ 163.com 广东轻工职业技术学院 2013 第四章 动态规划及其应用 【学习目标】 知识目标 1.了解动态规划的作用与意义以及在实际中的应用 2.掌握动态规划的基本方法以及动态规划的建模 3.掌握动态规划是规划论的一个重要分支，理解它与传统的解题不同方法； 4.掌握动态规划的顺序及逆序解法。 能力目标 1. 能够结合实际情况建立动态规划模型 ，把一个复杂的问题，划分为一系列小问题，以便通过解这些小问题来求得全部问题的解决 2. 能够应用顺序及逆序解法求解简单的投资分配问题、货物配装问题、最短路径问题以及生产与存储问题 【项目导入】 机械挖掘金矿问题 两个金矿A,B分别有存储量x，y，现有一部开矿机器。 如果开采金矿A，则以概率P1得储量x的r1倍（0 r11），并且机器没有损坏，可以继续再去开采金矿A或B。同时又以概率1- P1宣告失败，机器报废，也得不到金子； 如果把这部开矿机器用以开采金矿B，则以概率P2得到储量y的r2倍（0r21），并且机器没有损坏，可以继续再去开采金矿A或B，同时又以概率1- P2宣告失败，机器报废，也得不到金子。 把机器用于开采金矿A或者B，如果机器没有损坏，将继续把机器用于开采金矿A或者B，直到机器损坏，问应该如何选择开矿的序列使获得金子的期望值最大。 讨论题： 1. 运筹学的产生是不是属于偶然现象？ 2. 运筹学与物流的结合应用中间有什么必然联系？ 动态规划是解决多阶段决策过程最优化问题的一种方法。 该方法在工程技术、企业管理、物流规划与管理以及军事等部门都有广泛的应用，并取得了显著的效果。 在物流管理中，动态规划可以解决最优路径问题、生产计划与库存、资源分配问题、装载排序、投资及生产过程的最优控制等问题。 它的独特解题思路，在处理某些优化问题时，比线性规划或非线性规划方法更有效。 动态规划的优点是可把一个N维优化问题化成N个一维优化问题求解；求得最优解以后，可得所有子问题的最优解。 动态规划的缺点是没有统一的处理方法，不同的问题具有不同的模型，采用不同的求解方法，而且求解技巧要求比较高；状态变量维数不能太高，一般情况下变量维数小于10。 任务一：动态规划问题概述 动态规划是把多阶段决策问题作为研究对象。 所谓多阶段决策是指可将问题求解的全过程划分为若干个互相联系的阶段 (即将问题划分为许多个互相联系的子问题)，在它的每一阶段都需要作出决策，并且在一个阶段的决策确定以后再转移到下一个阶段。 在决策过程中，往往前一个阶段的决策要影响到后一阶段的决策，从而影响整个过程。 这类把一个问题划分成若干个相互联系的阶段并选取其最优策略的问题就是多阶段决策问题。 一、动态规划问题提出 1951年，美国数学家贝尔曼（R·Bellman，1920—1984）研究了一类多阶段决策问题的特征，提出了解决这类问题的基本原理。在研究、解决了某些实际问题的基础上，他于1957年出版了《动态规划》这一名著。本章将简要介绍动态规划的思想方法及其应用。 由于动态规划与“时间”关系很密切，随着时间过程的发展而决定各阶段的决策，产生一个决策序列，这就是“动态”的意思。 然而它也可以处理与时间无关的静态问题，只要在问题中人为地引入“时间”因素，将问题看成多阶段的决策过程即可。 动态规划解决问题的基本思路：把整体比较复杂的大问题划分成一系列较易于解决的小问题，通过逐个求解，最终取得整体最优解。 这种“分而治之，逐步调整”的方法，在一些比较难以解决的复杂问题中已经显示出优越性。 在经济管理决策中，有些管理决策问题可以按时序或空间演变划分成多个阶段 ，呈现出明显的阶段性； 于是可把这类决策问题分解成几个相互联系的阶段，每个阶段即为一个子问题； 原有问题的求解就化为逐个求解几个简单的阶段子问题； 每个阶段的决策一旦确定，整个决策过程也随之确定，此类问题称为多阶段决策问题。 二、动态规划的基本概念 动态规划数学模型由阶段、状态、决策与策略、状态转移方程及指标函数等5个要素组成。 为了理解动态规划的解题思路， 1.动态规划决策过程划分 根据多阶段决策过程的时间参量是离散的还是连续的，动态规划过程可分为：离散决策过程与连续决策过程； 根据决策过程的演变是确定性的还是随机性的，可分为：确定性、随机性的决策过程。 这样组合起来就有离散确定性、离散随机性、连续确定性、连续随机性 四种决策过程模型。 有些决策过程的阶段数是固定的，称为定期的决策过程， 有些决策过程的阶段数是不固定的或可