马尔科夫链决策方法.pdf

马尔科夫预测与决策法 马尔科夫预测与决策法——是应用随机过程中马尔科夫链的理 论和方法研究分析有关经济现象变化规律并借此对未来进行预 测和决策的一种方法。 池塘里有三张荷叶，编号为1，2，3，假设有一只青蛙随机地 在荷叶上跳来跳去。在初始时刻t0 ，它在第二张荷叶上。在时 刻t1，它有可能跳到第一张或者第三张荷叶上，也有可能在原 地不动。我们把青蛙某个时刻所在的荷叶称为青蛙所处的状 态。这样，青蛙在未来处于什么状态，只与它现在所处的状态 有关，与它以前所处的状态无关。实际上青蛙在一段时间内在 荷叶间跳或不跳的过程就是一个马尔科夫过程。 2010年6月6 日Sunday 2 马尔可夫性与转移概率矩阵 一个过程或系统在未来时刻的状态只依赖于现 状时刻的状态，而与以往更前的时刻无关，这一特 性就成为无后效性（无记忆性）或马尔可夫性（简 称马氏性）。换一个说法，从过程演变或推移的角 度上考虑，如果系统在时刻的状态概率，仅依赖于 当前时刻的状态，而与如何达到这个状态的初始概 率无关，这一特性即马尔可夫性。 2010年6月6 日Sunday 3 设随机变量序列，{X ,X , ···,X , ···},它的状态集合记为 1 2 n S= {s ,s , ···, s , ···} 1 2 n 若对任意的k和任意的正整数i , i , ···, i , i ,有下式成 1 2 k k+1 立： P {X = s | X = s , X = s , ··· X = s } k+1 ik+1 1 i1 2 i2 k ik = P {X = s | X = s } k+1 ik+1 k ik 则称随机变量序列{X ,X , ···,X , ···} 为一个马尔可夫 1 2 n 链（Markov chains）。 2010年6月6 日Sunday 4 如果系统从状态s 转移到状态s ，我们将条件概率 i j P { s | s }称为状态转移概率，记作：P( s | s )=p i j i j ij 简单地说，p ij是从i 到j 的转移概率。 对于条件概率, (k ) ( ) P P X s s , i, j 1,2, Ln ij k +1 i j 称为从状态s 到s 的k步转移概率。当k=1时，称为 i j 从s 到状态s 的一步转移概率。 i j 2010年6月6 日Sunday 5 如果一个经济