动态规划概论.ppt

第六章 动态规划(Dynamic Programming);动态规划是运筹学的一个分支，是求解多阶段决策过程最优化问题的数学方法。;1961年，贝尔曼出版了他的第二本著作，1962年他与同事德莱福斯合作出版了第三本著作。; 动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。 动态规划是用来解决多阶段决策过程最优化的一种数量方法。其特点在于，它可以把一个n 维决策问题变换为几个一维最优化问题，从而一个一个地去解决。;多阶段决策问题的典型例子： 1、生产决策问题：企业在生产过程中，由于需求是随时间变化的，因此企业为了获得全年的最佳生产效益，就要在整个生产过程中逐月或逐季度地根据库存和需求决定生产计划。; 2、机器负荷分配问题：某种机器可以在高低两种不同的负荷下进行生产。在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u1的关系为 g=g(u1);这时，机器的年完好率为a，即如果年初完好机器的数量为u，到年终完好的机器就为au, 0a1。在低负荷下生产时，产品的年产量h和投入生产的机器数量u2的关系为 h=h(u2) 相应的机器年完好率b, 0 b1。假定开始生产时完好的机器数量为s1。要求制定一个五年计划，在每年开始时，决定如何重新分配完好的机器在两种不同的负荷下生产的数量，使在五年内产品的总产量达到最高。 ; 3、航天飞机飞行控制问题：由于航天飞机的运动的环境是不断变化的，因此就要根据航天飞机飞行在不同环境中的情况，不断地决定航天飞机的飞行方向和速度（状态），使之能最省燃料和实现目的（如软着落问题）。;4、线性规划、非线性规划等静态的规划问题也可以通过适当地引入阶段的概念，应用动态规划方法加以解决。;5、 最短路径问题：给定一个交通网络图如下，其中两点之间的数字表示距离（或运费），试求从A点到G点的最短距离（总运输费用最小）。;6、背包问题 有一个徒步旅行者，其可携带物品重量的限度为a 公斤，设有n 种物品可供他选择装入包中。已知每种物品的重量及使用价值（作用），问此人应如何选择携带的物品（各几件），使所起作用（使用价值）最大？;动态规划的优点： 可把一个N维优化问题化成N个一维优化问题求解。 动态规划的函数方程附加了某些约束条件，可使求解更加容易。 求得最优解以后，可得所有子问题的最优解。;动态规划的缺点： “一个”问题，“一个”模型，“一个”求解方法。且求解技巧要求比较高，没有统一处理方法。 状态变量维数不能太高，一般要求小于6。;1、 阶段（stage）把所研究的决策问题，按先后顺序划分为若干相互联系的决策步骤，以便按一定的次序进行求解。描述阶段的变量称阶段变量，常用k表示。;2、 状态（state）状态表示每个阶段开始时所处的自然状况或客观条件，它描述了影响决策的因素随决策进程的变化情况，它既是前面阶段所作决策的结果，又是本阶段作出决策的出发点和依据。描述状态的变量称为状态变量，第k阶段的状态变量常用sk表示。通常，在第一阶段状态变量s1是确定的，称初始状态。;无后效性(马尔可夫性);3、 决策（decision）决策表示在某一阶段处于某种状态时，决策者在若干种方案中作出的选择决定。描述决策的变量称决策变量，第k阶段的决策变量常用uk表示。决策变量的取值会受到状态变量的制约，被限制在某一范围之内。;4、 策略（policy）把从第一阶段开始到最后阶段终止的整个决策过程，称为问题的全过程；而把从第k阶段开始到最后阶段终止的决策过程，称为后部子过程（或称为k子过程）。在全过程上，各阶段的决策按顺序排列组成的决策序列p1,n＝{ u1,u2,……,un }称为全过程策略，简称策略；而在k子过程上的决策序列pk,n＝{ uk,uk+1,……,un }称为k子过程策略，也简称子策略。;5、 状态转移方程 若第k阶段的状态变量值为sk，当决策变量uk的取值决定后，下一阶段状态变量sk+1的值也就完全确定。即sk+1的值对应于sk和uk的值。 这种对应关系记为sk+1＝Tk(sk,uk)  称为状态转移方程。 状态转移方程描述了由一个阶段的状态到下一阶段的状态的演变规律。;6、 指标函数和最优值函数 指标函数分为阶段指标函数和过程指标函数。阶段指标函数是对某一阶段的状态和决策产生的效益值的度量，用vk(sk,uk)表示。过程指标函数是指过程所包含的各阶段的状态和决策所产生的总的效益值，记为