动态规划模型和实验.docVIP

第七章 动态规划模型与实验 一个系统依据某种方式分为许多个不同的阶段，这些阶段不仅有着次序推移性，而且相互间有着依赖和影响。这种能分成阶段推移的系统叫做动态系统。动态规划是解决多阶段决策过程最优化的一种数学方法。动态规划的一个显著特点在于具有明确的阶段性，整个系统按某种方式可分为若干个不同的阶段，在每个阶段由若干种不同的方案可供选择。这样，在多阶段决策过程中，每个阶段决策的选择，不仅要依据次序来考查某阶段的效果外，而且更要顾及此决策对以后各阶段决策的影响，特别是对以后各个阶段决策的影响。系统最优决策问题要求在系统每个阶段可供的多种方案 (决策) 中，选择一个合适的决策，使整个系统达到最优的效果。整个过程分为多阶段的决策过程。各个阶段所做的决策形成确定整个系统的决策序列，称这样的决策序列为系统的一个策略。对应某一确定的策略，整个系统依据某种数量指标衡量其优劣的决策。多阶段决策过程就是在所有允许策略集合中。确定一个达到最优指标的最优策略。这种衡量系统的指标一般取最大值或最小值的策略。因此，多阶段决策过程也是一个可以构成多个变量的最优化问题。一个系统能分为多阶段的决策过程，有时需要数学技巧和艺术来划分，动态规划就是解决此类多阶段决策过程的最优化方法。 §7.1动态规划的基本原理 实际生活的问题，通过构造数学模型，具有特殊的动态系统过程，将基于某种方式把整个过程分成若干个互相联系的阶段，在其每个阶段都需要作出合适决策，从而使整个过程达到最佳效果。同时，各个阶段决策的选择依赖于该阶段的状态以及前或后阶段的变化。各个阶段决策确定后，组成一个决策序列，从而形成了整个过程具有前后关联的链状结构的多阶段决策过程，称为序贯决策过程。由此，动态规划求解首先关键在于如何将实际问题构造成能形成多阶段的系统，并且在各个阶段能作出序贯性的最佳决策，以使在序贯决策的状态推移进程中达到整个系统的最优决策。 例7.1 能分成阶段的最短路问题。图7.1是一个路线网络图，连线上的数字表示两点之间的距离（或费用），要求寻找一条由A到E的路线，使距离最短（或费用最省）。 B1 C1 D1 A B2 C2 E D2 B3 C3 图7.1 对于这样一个比较简单的问题，可直接使用枚举法列举所有从A到E的路线，共14条，然后，根据每条路线的长度（或费用），确定出所应走的路线（费用）最短（少）。 直观的思想，如果已找到由A到E的最短路线是A—→B1—→C2—→D2—→E（记作L），那么当寻求L中的任何一点（如C2）到E的最短路时，它必然是L中子路线C2—→D2—→E（记作L1）。否则若D2到E的最短路是另一条路线L2 ，则把A—→B1—→C2与L2连接起来，就会得到一条不同于L的从A到E的最短路。根据此特性，可以从最后一段开始，用逐步向前递推的方法，依次求出路段上各点到E的最短路，最后得到A到E的最短路。上述这种由系统的作后阶段逐段向初是始阶段求最优的过程称为动态规划的逆推解法。该过程揭示了动态规划的基础思想，为使动态规划的思想和方法数学上描述。下面先引入动态规划中基本概念与最优目标函数的建立。 （1）分阶段 把所给的系统，适当地依据具体情况分成若干个相互联系的阶段，描述阶段的变量称为阶段变量，常用k表示，并将各个阶段按顺序或逆序加以编号，如例7.1可分为5个阶段来求解，k=1，2，3，4，5。 （2）状态 状态表示系统在某一阶段所处的位置，自然状况或客观条件。一个阶段系统会存在若干个可能的状态。在例7.1中，状态就是某阶段的出发位置，它既是该阶段某之路的起点，又是前一阶段某之路的终点，一个阶段有若干个状态，第一阶段有一个状态就是初始位置A，第二阶段有三个状态，即使集合{B1，B2，B3}，一般第k阶段的状态就是第k阶段所有始点的集合。 描述过程状态的变量称为状态变量，常用Sk表示第k阶段的所有可能状态变量的集合，其元素为sk可以是数，数组或向量。如例7.1中第三阶段有三个状态，则sk可能取三个值，即C1,C2,C3，S3={C1，2，3} 称为第三阶段的可达状态集合。 （3）决策 决策表示当系统处于某一阶段的某个状态时，可以作出不同的选择，确定下一阶段的状态，这种决定称为决