Markov-chain经典讲解.pptVIP

马尔科夫链简述 主讲人：滕飞 超市收银台模型 离散时间n = 0,1… 顾客到达:伯努利分布(p) （顾客到达与否是相互独立的） 客户服务时间: 几何分布（q）(购物结算是否完成相互独立) “状态” :在时间为n时，顾客数量 有限马尔科夫链 n次转换后的马尔科夫链可能性 在初始状态给定的条件下， 状态占用的可能性 : n次转换后的马尔科夫链可能性 递推公式： n次转换后的马尔科夫链可能性 递推公式的另一种形式： n次转换后的马尔科夫链可能性 例子 马尔科夫链一般性收敛问题 极限取决于开始状态吗？ ?? ????常返态和暂态 状态i的重现（recurrent）: 从状态i开始，无论你到达何处，你都可以通过一种路径回到i状态，则称为状态i为常返态。 如果i不能重现，就称为状态i为暂态（transient）。 常返状态和暂态 如果i是暂态： i为有穷次数。 常返状态类（recurrent class）： 彼此之间相互联系的常返态的组合叫做常返状态类。 周期态 如果常返态类中的状态可以分成（d 2）的群，以至于所有转换过程都是从一个群到达另一个群，那么我们可以说这些在常返态类的状态是具有周期性的。 周期态 周期态 周期态 稳态可能性 在开始状态相互独立的情况下 存在：条件为 1所有常返态都在一个单独的类中。 2这个常返态类不是周期性的。 假设“存在”，则递推公式为： 稳态可能性 当n趋向无穷大，则 附加方程： 关于频率的解释 从长期看，停留到j态的频率为： 从状态k转换到状态j的频率为： 转换到状态j的频率为： n次转换后的马尔科夫链可能性 例子 生老病死 生老病死 特别的，在所有状态下当 ，并且 ， 生老病死 当m为无穷大时 例子 吸收概率计算 在给定初始状态i的情况下，经过一系列的变换最终到达状态4的概率 ？ 考虑 预期时间内收敛 预期时间内收敛 从最初的状态i到目的常返态类所期望的转换步数 预期时间内收敛 预期时间内收敛 预期时间内收敛 预期时间内收敛 平均首通时间和重现时间 常返态类中:规定s是常返态，并且只有一条回路。 平均首通时间和重现时间 平均重现时间 伯努利分布 当伯努利试验成功，伯努利随机变量为1。其成功机率为p 若伯努利试验失败，伯努利随机变量为0。失败机率为q =1-p， 几何分布 在第n次伯努利试验中，试验k次才得到第一次成功的机率。详细的说，是：前k-1次皆失败，第k次成功的概率。 （简单可以考虑打靶模型，打中停止） 分布函数P(X=k)=p*(1-p)^(k-1)，k=1,2,3,…… 3 1 2 4 0.5 0.4 0.5 0.6 0.8 0.2 1 1 2 3 4 0.6 0.4 3 1 2 4 0.5 0.5 2 1 4 4 对于与常返态类不相邻的状态i有： 对于与常返态相邻的状态k有： s 1 2 平均首通时间状态i到s s 1 2 j 返回 返回 Company Logo Company LOGO 1 2 9 10 0 假设我们的超市并不大，只能让10排队 (1-p) p q(1-p) p(1-q) pq+(1-p)(1-q) q(1-p) pq+(1-p)(1-q) pq+(1-p)(1-q) p(1-q) q 1-q ---- ：在n次转换（transition）后的状态。 n X ----所在集合属于有限集合。例如{1，2，…..，m} 可以是给定的，也可以是随机变量。 马尔科夫性质 /假设： （未来只与现在的状态有关，与过去无关。） 定义 性质 1 3 2 i j 对马尔科夫链性质的解释 Time 0 Time n-1 Time n …. …. j l k m i 在没有给定初始状态，（开始状态是随机的） i 1 k m j Time 0 Time n Time 1 在没有给定初始状态，（开始状态是随机的） 5/7 5/7 0.65 0.8 1 2/7 2/7 0.35 0.2 0 5/7 5/7 0.65 0.5 0 2/7 2/7 0.35 0.5 1 n=101 n=100 n=2 n=1 n=0 1 2 0.5 0.8 0.5 0.2 1 2 3 0.5 0.5 1 1 当n=奇数： =0 当n=偶数： =1 0.3 0.4 0.3 1 2 3 = 1 = 0 = 1/2 对于任何n 对于任何n n趋于无穷 1 3 2 5 4 8 7 6 recurrent class transient cla