OR_08 马尔科夫链.ppt

第8章 马尔科夫链（Markov Chains）;*;*;*;*;*;*;*;*;*;*;*;*;*;基于模拟方法二的模拟抽样流程：;*;4.1马氏链的基本概念; 为了进行天气预报，人们通常关心的是在过去和当前的气候状态已知条件下来预测将来的天气状态。若以表t今天，s表明天（st），A表过去所处的气候状态，则由积累的气象资料来获得条件概率分布列 P{x(s)=j|x(t)=i,A} 是十分需要的。因为它表示了在过去状态为A、当前（今天）状态为i已知的条件下，将来（明天）状态为的可能性（其中i与j均可取0，1，2，3中的任一种）。 ; 例如若已知有 P{x(s)=0|x(t)=i,A}=0.8 P{x(s)=1|x(t)=i,A}=0.1 P{x(s)=2|x(t)=i,A}=0.05 P{x(s)=3|x(t)=i,A}=0.05 则人们当然可以预言明天的气候状态为0（雨天）。; 一般情况下，当当前状态已知的条件下，将来的状态可能与过去所处的状态A有关，也可能无关。若随机过程{x(t),t=0,1,2,…}的条件概率满足关系式 P{x(s)=j|x(t)=i,A}= P{x(s)=j|x(t)=i} 对任何st及i∈E，j∈E成立，即与过去状态A无关，则称该随机过程为马氏链，并将上述特性成为马氏链性或无后效性。; 马氏性指出了这样一个事实：“如果我们知道了系统在任一时刻的状态，就以此预测从这以后的任何未来时刻的状态变化过程，至于在这以前，系统是怎样到达此状态的经历是无关紧要的。”或简单地说“给定现在，将来与过去独立”，这就是马氏链的本质特性。自然科学与社会科学的很多现象都具有上述特性，如仓库前卡车排队长度的变化过程，产品销售的变化过程等。 ; 在马氏链{x(t),t=0,1,2,…}中当s=t+1时，条件概率P{x(t+1)=j|x(t)=i}，一般来说不仅依赖于状态i与j，而且依赖于当前时刻t，但若该马氏链的条件概率与当前时刻t无关，则称此特殊的马氏链为齐次马氏链，或者说该马氏链是齐次的。马氏链的齐次性反映了这样一个事实：无论从什么时刻开始，系统未来的状态变化过程的统计规律总是一致的。 在其次马氏链{x(t),t=0,1,2,…}中，由于条件概率 P{x(t+1)=j|x(t)=i,A} 与过去历史A无关，与当前时刻t无关，从而只与当前时刻t所处的状态i以及将来（明天或其他）状态j有关，故可以简记为 　　?Pij=P{x(t+1)=j|x(t)=i,A} 其中i和j可取状态空间E中任一状态， ; 如天气预报中i与j可取0、1、2、3中的任一状态。若将中Pij 中i与j所取的状态一一列举出来，并按照一定的次序排列起来，可得： ;*; 与前同理，应有关系式 ;4.2 齐次马氏链的模拟 齐次马氏链{x(t),t=0,1,2,…}中的一列随机变量x(0), x(1), x(2),…如果是相互独立的话，我们就可以按照上一节的方法将每个随机变量独立地逐个进行模拟，并获取其样本值。但事实上问题并非如此简单，原因在于马氏链的各个随机变量x(l)与x(h)之间并非是相互独立的（l≠h），而是满足一定的相依关系---马氏链。但好在这种马氏性所满足的相依关系是比较微弱的，它只要求每一时刻s的状态仅依赖于上一时刻t=s-1的状态，即x(n+1)依赖于x(n)，x(n)依赖于x(n-1)，…，x(2)依赖于x(1)，x(1)依赖于x(0)，因此为获取齐次马氏链的一个样本，只需要由t=0时的初始状态x(0)=i0 及转移矩阵P来决定x(1)之样本i1,再由i1及P来决定x(2)之样本i2，由in及P来决定x(n+1)的样本in+1…… ; 根据上述设想，对一个具有状态空间E={0，1，2，…}的转移矩阵;是已知的，这只须从矩阵; 有了x(1)的条件分布列，就可以直接按照上一节对离散型随机变量的一般模拟法来求取x(1)的样本值i1。其具体做法为首先取伪随机数u1，然后选取数i1，使满足不等式; 即首先选取随机数u2，然后选取数i2，使满足不等式;⑷求x(3)的样本R3。反复运用上述步骤，即可获得齐次马氏链{x(t),t=0,1,2,…}在具有初始状态i0条件下的一组样本值i0，i1，i2 …。 若以初始时刻t=0表示今天，x(0)= i0表示已知的今天天气状态，x(t),t=0,1,2,…表示明天、后天、大后天…的天气状态，则利用上述方法对齐次马氏链