动态规划基本理论推广.pptVIP

函数迭代法与策略迭代法 (3)假设从i点走三步到靶点5的最优距离为 , 则得： 计算结果如下： 管理科学与系统工程 第二十页，共五十八页。 函数迭代法与策略迭代法 (4)假设从i点走四步到靶点5的最优距离为 , 则得： 计算结果如下： 管理科学与系统工程 第二十一页，共五十八页。 函数迭代法与策略迭代法 管理科学与系统工程 第二十二页，共五十八页。 函数迭代法与策略迭代法 由于只有5个点,因而从任一点出发到达靶点,其间最多有4步(否则，有回路)，这样就不需继续下去了。将计算结果列成表： 管理科学与系统工程 i 1 2 5 2 5 2 5 2 5 2 7 5 5.5 3 4.5 3 4.5 3 3 5 5 4 4 4 4 4 4 4 3 5 3 5 3 5 3 5 第二十三页，共五十八页。 函数迭代法与策略迭代法 分析上面的结果可得： ①从点1到点5走一步为最优，最优距离为2，最优路线 ； 从点2到点5走三步为最优，最优距离为4.5,最优路线 ； 从点3到点5走两步为最优，最优距离为4,最优路线 ； 从点4到点5走一步为最优，最优距离为3，最优路线 。 管理科学与系统工程 第二十四页，共五十八页。 函数迭代法与策略迭代法 ②最优决策最多走4步，多于此步数，会出现走回头路或回路，显然这些不是最优路线。 ③从任一点出发到靶点，走m(m=1,2,…)步与走m+1步的最优距离一样，决策函数也一样，如果继续计算走m+2步、m+3步、……，其结果仍一样, 即 也就说明 一致收敛于 ， 一致收敛于 。故当这种一出现，计算便可停止。 管理科学与系统工程 第二十五页，共五十八页。 函数迭代法与策略迭代法 例1的求解：(策略迭代法） 解：①第一步，先选取初始策略 。如取： 即 ,但必需没有回路，每点可达靶点。 第二步，由 求 ，由策略迭代法的方程组可得： 因策略 直达靶点，应先计算： 管理科学与系统工程 第二十六页，共五十八页。 函数迭代法与策略迭代法  第三步，由 求 ,由 求出它的解 ： 时， 管理科学与系统工程 第二十七页，共五十八页。 函数迭代法与策略迭代法  所以， （不在含 的项取 ） 时， 管理科学与系统工程 第二十八页，共五十八页。 函数迭代法与策略迭代法 所以， 同理，可求得 ,于是得到第一次策略迭代的结果为 ②以 为初始策略继续反复使用第二、三步进行迭代。 第二步：由 求 管理科学与系统工程 第二十九页，共五十八页。 函数迭代法与策略迭代法 第三步：由 求 ,即由求解 。 时， 所以 同理，求出 故第二次策略迭代的结果为 管理科学与系统工程 第三十页，共五十八页。 函数迭代法与策略迭代法 ③第二步：由 求 第三步：由 求 ，类似前面的方法求得第三次策略迭代的结果为 管理科学与系统工程 第三十一页，共五十八页。 i 1 2 3 4 5 4 5 3 2 11 5 6 5 3 5 5 2 5.5 5 3 5 3 4 5 2 4.5 4 3 5 3 4 5 函数迭代法与策略迭代法 ④将以上结果记录下来： 管理科学与系统工程 第三十二页，共五十八页。 函数迭代法与策略迭代法 由以上结果得到 ，对所有的i都成立，说明迭代步骤可以停止。故找到最优策略为 列表表示为 从而可以得到各点到靶点(点5)的最优路线和最优距离： 管理科学与系统工程 i 1 2 3 4 5 3 4 5 第三十三页，共五十八页。 函数迭代法与策略迭代法 最优路线 最短距离值 ① → ⑤ 2 ② → ③ → ④ → ⑤ 4.5 ③ → ④ → ⑤ 4 ④ → ⑤ 3 可以看到策略迭代法得到的结果与函数迭代法的结果一致。 管理科学与系统工程 第三十四页，共五十八页。 不定期与无期决策过程 例2：无限期决策过程 模型 ，状态变换函数 为 。( 存在明显的级变量，但级数是无限的 ) 管理科学与系统工程 第三十五页，共五十八页。 函数迭代法与策略迭代法 例2的求解（函数迭代法） 解：(1)任取初值，如