第八章动态规划.doc

PAGE PAGE 33 第八章 动态规划 动态规划（Dynamic Programming，简记为DP）是运筹学的另一个重要分支，是解决多阶段决策过程最优化的一种数量化方法，是由美国数学家贝尔曼（R.Bellman）所建立.1951年他提出了解决多阶段决策问题的“最优化原理”并且研究了许多实际问题，从而创建了解决多阶段决策最优化问题的一种新的方法——动态规划（相对于它，前面讨论的规划问题称为静态规划）.实践证明，D P方法在工程技术、企业管理、工农业生产及军事等部门都有广泛的应用. 动态规划的成功之处在于，它可以把一个n维决策问题变换为一个一维最优化问题，（把一个多阶段决策问题变换为一系列互相联系的单阶段问题），然后一个一个地求解，这是经典极值方法所做不到的，特别对于离散性问题，由于解析数学无法施展其术，而动态规划的方法就成为非常有用的工具. 应该指出的是动态规划是求解某类问题的一种方法，是考察问题的一种途径，而不是一种特殊的算法，它不象线性规划那样有统一的数学模型和算法（如单纯形法），而必须对具体问题进行具体分析，针对不同问题运用D P的原理和方法，建立起相应的模型，然后再用动态规划方法去求解..因此，学习动态规划时，除了要对动态规划的基本原理和方法正确理解外，还应以丰富的想象力去建立模型（数学与艺术的结晶），用灵活的技巧去求解. §1 多阶段决策问题 在实践中，人们常会遇到这样一类决策问题，即由于过程的特殊性，可以将决策的全过程依据时间或空间划分为若干个互相联系的阶段，在每一阶段要做出决策，而一个阶段的决策，不仅影响本阶段的活动，还会影响下一阶段的活动及其决策，从而影响整个决策过程.各个阶段的决策，构成一个决策序列，称为一个策略，由于每一阶段常有很多方案可供选择，因此，每一阶段也能作出若干不同的决策.这样各阶段的各自很多不同决策就构成了许多不同的策略.由于每阶段的不同决策其效果是不同的.因而由此所构成的不同策略的效果一般也不同，那么在诸多可供选择的策略中，选择哪一策略才能使一项待行的活动取得最佳效果？这类问题就是多阶段决策问题. 例8.1 100多年前，有位美国推销员乘驿站马车，经过不友好的印地安地区向东旅行，虽然他的起点州A(state ,状态)和目的地州E是固定的，但在途中要走过哪些州，却有相当大的选择余地.如图8-1所示： 2C1 2 C1 B1 6442D1 6 4 4 2 D1 343674 3 4 3 6 7 4 2343AEC2B2 2 3 4 3 A E C2 B2 431D2 4 3 1 D2 35 3 5 C3B C3 B3 1 2 3 4 图8-1 旅行线路图 他从州A出发，旅行至州E目的地，需要4个驿程（stage，阶段），而从第1天开始每天都有不同的选择，此推销员是一个谨慎的人，十分关心他这次旅行中的安全，在经过一番思考后，他想到一个相当巧妙的办法来确定他的最安全途径，人身保险当时是很欢迎驿站乘客投保的，因为每张保险单（policy，策略）的收费是考虑了该行程的安全程度后订出的，所以最安全的途径应当是人身保险单最低廉的途径，设州i至州j的行程上，保险费记cij，如图8-1所示.问题为求从 State A到 State E走哪条途径使保险单的总费用达到最小？（如果把cij看成是距离，则问题是求A?E的最短路）这是一个典型的多阶段决策问题. 值得注意的是，作出各相继驿程上最佳决策.不一定产生总的最佳决策（即Greedy算法未必取得最佳策略）. 如 A 2 B1 4 C2 3 D2 4 E 费用和为13 而 A 3 B3 1 C2 更低廉 求解该问题可以有以下两种思路： 方法一：穷举法 即列出所有的可行路径，逐个路径进行比较，并从中选出最佳路径. 对于例8-1，分为4个阶段： A B ( B1 , B2 , B3 )为第一阶段；3条路 B C ( C1 , C2 , C3 )为第二阶段；3条路 C D ( D1 , D2 )为第三阶段； 2条路 D E 为第四阶段；1条路 从而所有的可行路径共有 3×3× 2 × 1=18 最短路径为 A 3 B3