5.2齐次马尔可夫链.docVIP

第二节 齐次马尔可夫链 　　一、齐次马尔可夫链的概念 　　一个随机过程｛Xn，n＝0，1，2，…｝就是一族随机变量，而Xn能取的各个不同的值，则称为状态。如果一个随机过程｛Xn，n＝0，1，2，…｝，由一种状态转移到另一种状态的转移概率只与现在处于什么状态有关，而与在这时刻之前所处的状态完全无关，即如果过程｛Xn，n＝0，1，2，…｝中，Xn+1的条件概率分布只依赖于Xn的值，而与所有更前面的值相互独立，则该过程就是所谓马尔可夫(Markov)过程． 　　马尔可夫链是指时间离散，状态也离散的马尔可夫过程。一个马尔可夫链，若从u时刻处于状态i，转移到t＋u时刻处于状态j的转移概率与转移的起始时间u无关，则称之为齐次马尔可夫链，简称齐次马氏链。 　　如果把从状态i到状态j的一步转移概率记为pij，则pij＝P｛Xn+1＝j｜Xn＝i｝，i，j＝0，1，2，…，且有转移概率矩阵P， 　　这样，一个齐次马氏链，可以由一个转移概率矩阵P以及在时刻零时状态x＝0，1，2，…的概率分布列向量 Q＝(q(0)，q(1)，…) 　　完全确定。由齐次马氏链性质知道，第i状态的行向量Ai与第i＋1状态的行向量Ai+1之间存在着关系式：Ai+1＝AiP。 　　二、齐次马氏链在评估教学质量中的应用 　　教学过程是一个随机过程，也就是说，对于具有相同基础知识背景的学生(个体)，在同时接受新知识时是随机的。我