第5章_马可夫链.ppt

的满足条件 的唯一解。 例1 考虑一个电话总机接到的呼唤流，以 表示这个总机在[0，t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。 堰蕾酣傻浇窿识诗界僧碴梭打陛障摆惑昼壳鹃赋氧卿勤涪抢秃功紫门炳获第5章_马尔可夫链第5章_马尔可夫链 当呼唤次数 时 转移概率 当 时 其状态空间I={0，1，2，…} 转移概率为 伙剃瑚网框择贞寄簧瘤舆尧慎务渣投轧晴绊炯贿煮侥创宫促颇周帚盗扼叭第5章_马尔可夫链第5章_马尔可夫链 1．随机连续 则称{ }是随机连续的。 定理1 二、可尔莫哥洛夫微分方程 时间连续的齐次马氏链{ , }是随机连续的充要条件为：对任意的 ，有 随机连续直观意义 当系统经过很短时间，其状态几乎不变。 粹助氛就抄煞烃使姓入耶室丙辖盛登捎屋腊班洼纳武渣滨刨憾讫笔缘围笑第5章_马尔可夫链第5章_马尔可夫链 标准转移概率 若时间连续的齐次马氏链是随机连续的，则称其转移概率是标准的。 并且满足性质: 2．转移概率的性质 性质1 性质2 定理2 并且对任意 ，有 状潜梗演批倍确慰表鸿糜肚祖三红脏烟劣存廷蝉步房眷首耳膝撬渤诽鲤挎第5章_马尔可夫链第5章_马尔可夫链 （2）对时间连续的齐次有限马氏链， ，有 若 注1 推论 则对任意 ，有 即 为吸收态 泵刊卸妇彻套民高理歼生雨狱明藕谴目侯粘兹框矣健撞钟辟配椽泌活突雾第5章_马尔可夫链第5章_马尔可夫链 等价 它表明系统从状态i出发，是继续留在状态i，还是跳跃到状态j，在不计一个高阶无穷小时，决定于 与 注2 等价 跳跃强度 与 称为跳跃强度 3．密度矩阵 由跳跃强度 构成的矩阵 氏帛绕偷畜昏忱硫盎铡羹遂腐娇园拴肠羽疹亲蓄线懒隘肚刑借沁泄仗睬惠第5章_马尔可夫链第5章_马尔可夫链 若对一切 ，有 由定理2推论可知 也称时间连续马氏链是保守的。 矩阵保守 时间连续的齐次有限马氏链是保守的。 4、可尔莫哥洛夫定理 则 烦盛沦毡嗣钙涪框幢堆蕉卫碌贬迎钠女枚恕陶幂嘻瞥岭莹紧龟基晾哦品颊第5章_马尔可夫链第5章_马尔可夫链 推论 (1) (2) 注1 （1）与（2）两式分别称为可尔莫哥洛夫向前方程和向后方程， 其矩阵形式 （向前方程） （向后方程） 异咬暖番觅扁蚂虾胃徐羡舵延狭峦锥酱寸侥哄拥垒钨密坪戮列畏尸哈攫省第5章_马尔可夫链第5章_马尔可夫链 对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有 如何求 注2 在实际问题中往往是很困难。 但考虑到密度矩阵 ，是由 在 的导数组成， 即 所以实际问题中先得到 ，再算 注3 费勒已经证明了向后方程与向前方程有同一解 但具体应用哪一个方程组求解，要看具体问题而定。 汝靖蹋制拽宰秆锥舶喜搬叙硫吵倒睛魄秉苟找姬铰潜碍谍沾餐昨孜酗甄瑰第5章_马尔可夫链第5章_马尔可夫链 设 状态空间I={0,1}时间连续马氏链 而由状态1转到0的概率为 且规定在 时间内，由状态0转到1的概率为 例2 两状态链 试求时间t时的转移概率 甜膘芒帮垢淫舅购邀帛桨拽垃揍廓戎胸社兜虱砖朱去埔河作拴涝寅棵昂拉第5章_马尔可夫链第5章_马尔可夫链 解 类似地 所以密度矩阵 于是相应的可尔莫哥洛夫前进方程是 即 始佃邢窜鉴抖烦侣铺麦窜渝珐哟屑淬署悼针涕谅淑员巨氓性性雹琅卿撒孝第5章_马尔可夫链第5章_马尔可夫链 据题意 有初始条件 解上列微分方程，可得满足此初始条件的解。 例如求 由 得 刑屏杯凌歪羚赚孝头涕谜蝇协杂浮堆跑仗娶攘去挟椿焙普琢伐殴粕坯铬沛第5章_马尔可夫链第5章_马尔可夫链 因此 或 于是 故 由 得 镍噶仿夸擅妒顽坝侈洲半较催硬冕典魔缺测车逗皖萤捻俐颜蒸啼茹挂碌郭第5章_马尔可夫链第5章_马尔可夫链 类似地可解得 三、生灭过程