马氏链简介.pptVIP

* 马氏链简介 （Markov Chain） 马氏链（Markov Chain）是随机过程的一个特例，专门研究无后效条件下时间和状态均为离散的随机转移问题，但在建模过程中采用线性代数的方法，因此，也在线性代数模型中来学习。 马氏链简介 （一 ） 商品的经营问题 某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？ 一 正则链（Regular Chain） ？ 0.5555 0.555 0.55 0.5 0 ？ 0.4445 0.445 0.45 0.5 1 4 3 2 1 0 1 分析 ？ 0.5556 0.556 0.56 0.6 1 ？ 0.4444 0.444 0.44 0.4 0 4 3 2 1 0 表示销路好； 表示销路坏； 2 符号说明 商店的经营状况是随机的，每月转变一次。 建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？ 用随机变量 表示第 n 个月的经营状况 称为这个经营系统的状态。 用 表示第 月处于状态 的概率， 即 称为状态概率。 表示已知这月处于状态 ，下月处于状态 的概率， 即 称为状态转移概率。状态及转移情况见图。 0.5 0.4 0.5 0.6 1 2 3 建模 令 P 概率转移矩阵 4 求解 P 特征值为1，1/10 当 5 结论 不论初始状态如何，经过相当长的时间后 经营状态趋于稳定的概率。 注意到 经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。 这种性质称为无后效性，或马尔可夫（Markov）性， 即已知现在，将来与历史无关。 具有无后效性的，时间、状态均为离散的随机转移 过程，通常用马氏链（Markov Chain）模型描述。 马氏链模型在经济、社会、生态、遗传等许多领域 有广泛应用，不仅可以解决随机转移过程，还可以 处理一些确定性系统的状态转移问题。 ，当它的所有分量是非负， 一般地，一个行向量 且行和为1，称此向量为概率向量。 每行都为概率向量的矩阵，称为概率转移矩阵。 可证明 若A,B为概率转移矩阵，则AB也为概率转移矩阵。 若 P 为概率转移矩阵，则 Pn 也为概率转移矩阵。 证明 若A,B为概率转移矩阵， 而AB=C的第 i 行，第 j 列元素为 显然， 定义1 一个有 个状态的马氏链如果存在正整数 使从任意状态 经过 次转移都以大于零的概率到 达状态 ，则称为正则链。 定理1 若马氏链的转移矩阵为 ，则它是正则链的 充要条件是，存在正整数 使 （指 的每一 元素大于零）。 特点： 从任意状态出发经过有限次转移都能到达另外的任意状态。 （用这个定理检验一个马氏链是否为正则链。） 定理2 由 存在，记作 的每一行都是稳态概率 如果记 那么，有 使得当 时状态概率 概率 无关。 正则链存在唯一的极限状态概率 与初始状态 由 又称为稳态概率。 *