马尔可夫链完整版本.pptVIP

马尔可夫链基本概念一、基本概念1.随机过程1.随机过程2.马尔可夫链(Markovchain)建立随机过程模型，首先要确定状态空间、参数集例：关于这一过程，我们想知道：3.转移图(一步)4.转移概率矩阵P称为一步转移矩阵特点：一般，若有N个状态，则一步转移矩阵为而过程n时刻处于状态i下一时刻转移到状态j的一步转移概率例：5.两步转移矩阵例：对三个状态的马氏链,已知P,求由全概率公式:一般6.k步转移矩阵读懂k步转移矩阵(2)未知X0的确切值,但知的X0分布(初始分布),则

可求:即:练一练解：方法一方法二7.稳态概率一般,若转移概率若某马氏链具有稳态分布,如何求?(1)求这代表了同一方程的许多重复，取第一行例：求所给例的稳态概率.对于医生例问题,看看能回答哪些?二、应用举例1.在流行病监测中的应用步长：一年由表1可得各状态的转移频率即状态转移概率的估计值，从而得模型的一步转移概率矩阵：计算多步转移矩阵计算极限2.市场占有率预测（2）查清使用对象的流动情况．第二步建立数学模型第三步进行预测可求出唯一解:n0123?