马尔可夫链保姆分析法.pptVIP

马尔可夫链分析法 马尔可夫链 马尔可夫链：一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关。这种性质称为无后效性。 形象示意：青蛙在若干荷叶上跳跃,下一位置仅与当前位置有关。 状态概率向量：设马尔可夫链在 tK 时取状态E1 E2 … En的概率分别为p1 p2 … pn 而0≤Pi≤1， 则向量［P1P2 … Pn］称为tK时的状态概率向量。 一步转移概率： 设系统可能出现N个状态E1 E2 … En，则系统由tK时刻从Ei转移到tk+1时刻Ej状态的概率就称为从i到j的转移概率. 状态转移概率矩阵 状态转移概率矩阵：在一定条件下，系统只能在可能出现的状态E1 E2 … En中转移，系统在所有状态之间转移的可能性用矩阵P表示，称P为状态转移概率矩阵。 转移概率矩阵具有下述性质: 正规概率矩阵及性质 概率向量：元素均为非负数且总和为1的向量。 概率矩阵：方阵的各行(或各列)都是概率向量。 概率阵性质：若A、B是概率阵，则AB、An也是。 固定概率向量(均衡点)：若U是n维概率向量,A是n阶方阵，且有UA=U，则称U是A的均衡点。 正规概率矩阵：对概率阵P，若存在某个正整数m,使得Pm所有元素大于零,则称P为正规概率矩阵。 正规概率阵P的性质： 多步转移 多步转移概率: 若系统在时刻t0处于状态i,经过n步转移，在时刻tn处