基于方阵乘幂的马尔可夫链问题研究.pdfVIP

第 17卷 第 6期 北 京 印 刷 学 院 学 报 2009年 12月 Vo1．17 No．6 JournalofBeijingInstituteofGraphicCommunication Dee．2009 基于方阵乘幂的马尔可夫链问题研究 张梅荣 (北京印刷学院 基础部 ，北京 102600) 摘 要 ：马尔可夫链是一类重要且得到广泛应用 的随机过 P(X+ = +ll，=i，一l=i一l，…，I=il， 程。指出一步转移概率、．r／步转移概率 以及稳态概率等重 Xo=io)=P(X…一=i一…～f一．=一i～)一一(1～)慨一 要概念与线性代数 中的矩 阵、矩 阵乘幂之 间的密切联系， 1．2 转移概率和转移概率矩阵 重点引入求解方阵的高次幂 的相似对角化方法，最后结合 进一步地 ，我们假设对于所有的状态 i和 ‘，『以 ～～一一一一～一～～ 实例，利用相似对角化方法推导出其计算结果。 及所有 的t，P( =JJX，= )只与状态 i和 有 关键词 ：马尔可夫链；转移概率；稳态概率；方阵的高次幂 中图分类号 ：02l1 文献标识码 ：A 关，而与t无关 ，此时 ，称马尔可夫链为齐次马尔可 文章编号 ：l004．8626(2009)06-0071-03 夫链 ，简称马尔可夫链，并记 P( = 1X，= )=P (2) 其中P 为假设系统在时间t的状态为 i，那么它在 时间t+1时状态将为 的概率。P，的值通常被称为 马尔可夫链的一步转移概率 ，简称转移概率 。 在应用 中，我们通常将转移概率P。排成一个 s×s的矩阵，令 P11 P12 p2I p22 P ： P 1 P2 称P为转移概率矩阵，简称转移矩阵，容易得出P 有性质 ： 1)P“≥0， i，=1，2，… ； 2)∑P：1，i=1，2，…s。 1 马尔可夫链基础知识 1．3 ，l步转移概率 1．1 概念 除了一步转移概率，通常还需要研 究以下问 马尔可夫链是一类特殊的随机过程，它广泛应 题 ：如果马尔可夫链在 时间m 的状态为 i，那么 n 用于许多领域 ，如教育 、市场营销 、医疗服务、金融 个周期之后马尔可夫链的状态为 的概率是多少? 和工业生产等，其重要特征为具备 “无后效性”，即 引入如下定义：