5马尔可夫链模型.doc

马尔可夫链模型 在考察随机因素影响的动态系统时，常常碰到这样的情况，系统在每个时期所处的状态是随机的，从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各时期的状态无关。这种性质称为无后效性或马尔可夫性。通俗的说就是已知现在，将来与历史无关。 具有马氏性的，时间、状态无为离散的随机转移过程通常用马氏链(Markov Chain)模型描述。 马氏链模型在经济、社会、生态、遗传等许多领域中有着广泛的应用。值得提出的是，虽然它是解决随机转移过程的工具，但是一些确定性系统的状态转移问题也能用马氏链模型处理。 马氏链简介： 马氏链及其基本方程：按照系统的发展，时间离散化为，对每个，系统的状态用随机变量表示，设可以取个离散值，且的概率记作，称为状态概率，从到的概率记作，称为转移概率。如果的取值只取决于的取值及转移概率，而与的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链。 由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为 并且和应满足 引入状态概率向量和转移概率矩阵 则基本方程可以表为 例1：某商店每月考察一次经营情况，其结果用经营状况好与孬表示。若本月经营状况好，则下月保持好的概率为0.5，若本月经营状况不好，则下月保持好的概率为0.4，试分析该商店若干时间后的经营状况。 解：商店的经营状况是随机的，每月转变一次。用随机变量表示第个月的经营状况，称为经营系统的状态.分别表示好与不好，。用表示第月处于状态的概率（）即，表示本月处于状态，下月转为状态的概率。这里无后效性，只取决于和。 根据全概率公式可以得到： 假设这个递推公式存在极限，有，即。于是当经营状况好或孬时，经计算可以得到下面的结果 n 0 1 2 3 … ∞ n 0 1 2 3 … ∞ a1(n) 1 0.5 0.45 0.445 … 4/9 a1(n) 0 0.4 0.44 0.444 … 4/9 a2(n) 0 0.5 0.55 0.555 … 5/9 a2(n) 0 0.6 0.56 0.556 … 5/9 事实上，的特征值，时可以得到特征向量， 时可以得到特征向量，令，则， 可以看出，虽然对于不同的n，两种情况对应的数字不同，但是当时却得到相同的结果，即其状态概率趋于稳定值，且这个稳定值与初始状态无关。 例2：考察微量元素磷在自然界中的转移情况，假定磷只分布在土壤，草、牛、羊等生物体，及上述系统之外这三种自然环境里。每经过一段时间磷在上述三种环境里的比例会发生变化，变化具有无后效性。假定磷在三种环境下的初始比例为0.5：0.3：0.2，研究经过若干时段后磷在三种环境中的转移情况。 磷在三种环境中的分布及其变化是确定性的，但是如果把它在某种环境如土壤中的比例视为处于这种状态下的概率（将全部含量作为一个整体），把它的变化比例视为转移概率，就能用处理随机转移的马氏链模型来解决这个问题。时期用离散化，分别表示第n时期磷处于土壤、生物体和系统外三种状态，表示状态概率，即分布比例（）表示由到的转移概率，即变化的比例。状态的转移具有无后效性。利用全概率公式并将的值代入得到： 以初始状态代入计算可得 n 0 1 2 3 … 10 … ∞ a1(n) 0.5 0.37 0.27 0.195 … 0.020 … 0 a2(n) 0.3 0.21 0.15 0.111 … 0.011 … 0 a3(n) 0.2 0.42 0.58 0.694 … 0.969 … 1 通过以上两个例子给出马氏链的基本概念 马氏链及其基本方程：按照系统的发展，时间离散化为，对每个n，系统的状态用随机变量表示，设可以取k个离散值，且的的概率记作，称为状态概率，从到的概率记作，为转移概率。如果的取值只取决于的取值及转移概率，而与的取值无关，则这种离散状态按照离散时间的随机转移过程称为马氏链。 从以上两个例子的计算结果可以看出这两个马氏链之间有很大的差别，它们分别属于马氏两个重要类型。 一、正则链：例1表示的马氏链的 定义1：一个有k个状态的马氏链如果存在正整数N，使从任意状态i经N次转移都以大于零的概率到达状态j(i,j=1,2,…,k)，则称其为正则链。 定理1：若马氏链的转移矩阵为P，则它是正则链的充要重要条件是存在正整数N使。 定理2：正则链存在唯一的极限状态概率，使得当时的状态概率，与初始概率无关。称为稳态概率，满足 从状态i出发经n次转移，鳘次到达j的概率称为i到j的首达概率，记作。于是 为由