第2章 - 马可夫链.pptVIP

CHAPTER 2 马尔可夫;离散连续离散连续马尔可夫链马尔;定义 称为n时刻的一步转;我们来看马尔可夫链的分布 ;4、马尔可夫链的例子例1 独;Xn-----第n个顾客走后剩;例3 G / M /1;pi0公式略有不同，它是服务台;例4 直线上的随机游动（1）;例5 Polya（波利亚;下面的定理提供了一个非常有用的;所以{Xn,n≥0}是马尔可夫;二、切普曼-柯尔莫哥洛夫方程1;为马尔可夫链{Xn,n≥0}的;类似地可以证明马尔可夫链任意个;3、定理：切普曼-柯尔莫哥洛夫;证明：爷户钧孝林掌掇杯钙伎疽肝;例（马尔可夫预测）P82解 ;则半年后A种鲜奶的市场占有率为;例甲、乙两人进行比赛，设每局比;解（1） 记甲获;（2）二步转移概率矩阵匪多亦鼎;（3）从而结束比赛的概率；从而;第二节 状态的分类及性质;定义2：若集合则称该数集的最大;因为d(i)是i的周期，所以d;定义4：首达概率定义为表示从i;定义7: 若i为常返状态，即 ;定理： 与 ;定理：状态 i 是常返状态，当;的含义则表示过程到达 i 的次;若状态i是滑过的（非常返的）则;所以， ;以Nj(t)记到时刻t为止转移;例 考虑直线上无限制的随机游动;注意到所以，当 ;例转移矩阵试对其状态分类。解按;从图可知，此链的每一状态都可到;类似地可求得所以于是状态1是常;例设马氏链的状态空间I={0,;类似地可证所以即I中任意两个状;由定义知状态0为常返态。因此，;第三节 极限定理及平稳分布;则所以乱惑争莫扶笛抨韭棚蛰踞词;定理：若i与j相通，则(3),;推论：如i是常返的，则i为零常;推论：有限状态的马尔可夫链，不;状态性质判别法i非常返i零常返;二、平稳分布与极限分布1，定义;则平稳分布可表示为如下矩阵形式;2，定义：若马尔可夫链是遍历的;因而不存在平稳分布。2，状态全;利用C-K方程钠艇指樟股垒敛阑;从而是平稳分布。再证是惟一的平;注：1，对于不可约的遍历链（不;例设马氏链的状态空间I = {;从图可知，对任一状态 ;例设有6个球（其中2个红球，4;解其一步转移矩阵为甲乙红球0白;并作出状态传递图1/32/95;（2）可以利用定理证明遍历性恒;解之得故得陨敝撕仰扰赔密幻垦纸;（4）除翘盼靛簧吾赃踩甲渝欠串;讨论对时间连续状态离??的马尔可;齐次马氏链转移概率仅由t决定而;性质2连续时间齐次马氏链的有限;性质4已知现在，那么过去与将来;的满足条件的唯一解。例1考虑一;当呼唤次数 ;1．随机连续则称{ ;标准转移概率 若时间;（2）对时间连续的齐次有限马氏;等价 它表;若对一切 ，;推论(1)(2)注1（1）与（;对时间连续齐次有限马氏链，向前;设 ;解类似地所以密度矩阵于是相应的;据题意有初始条件解上列微分方程;因此或于是故由 ;类似地可解得三、生灭过程 ;设有同一类型的个体组成的一群体;若它的转移概率满足则称此链为齐;纯生过程纯灭过程由定义中的转移;密度矩阵由即可得台颇幂耸弓软兆;可尔莫哥洛夫向前方程是向后方程;假定平稳分布由可得由可知继唐喇;定理4若其密度矩阵可表示成其中