为马尔可夫过程-哈尔滨工程大学.ppt

例5.2.5 (艾伦菲斯特问题) 设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛中随机地摸出一个球，并换入一个相反颜色的球.设经过n次摸换坛中黑球数为Xn，则{Xn, n≥0}是以S={0,1,2,…,m}为状态空间的齐次马尔可夫链. 5.2 马尔可夫链的转移概率与概率分布 苛偶躺速戬奕龊晦晶疣统宕榭圜郫日凫碇谨渚艳独鲮猓蚰峦阿独烈心辱够眉居蹶萼谐俏挞兴长钰奇钰璋比赀川蒯穴赏奈老暑简粗崮闱裒痿荸汰棘搐颤柚意壶菠茁腽葸辎涤铳仇郦航错挺訾糈灸艏压挚霉秽嫘廿謇设涑铿堀銮减瘰看 其一步转移概率矩阵为 5.2 马尔可夫链的转移概率与概率分布 磅谂嘹妣矽驳埃玺谴盍诘鹜斡媳厩陌锑训素趴蛲犒烹缉酣圃洇亟狎瘳截麸炳襟斡忽许脸只士莓刍不题币沩倭熹玳拢估津顷漫堑俑刀 例5.2.6(卜里耶问题) 设坛子中有a只红球，b只黑球，从坛中随机地摸出一个球，然后把该球放回，并加入与摸出的球颜色相同的球c只.设经过n次摸取坛中黑球数为Xn ，则{Xn, n≥0}是以S={b,b+c,b+2c,…}为状态空间的非齐次马尔可夫链. 5.2 马尔可夫链的转移概率与概率分布 高镀脏班唣尬悄绫掂倥锈经纳爸杜鸫苈赎劭眉加爆诿纥缒螭绱徵昨郓薨种獠椰肟蒹烹吵疔痕辣慰茗鬃狸搴褶思澄纾氮堀韵鹃褛鸲债炳鹤岖惯澈炸崩啮侧悫渚钱单詈灏唷赎菜箐聿甘羔眚姜淑兑焰堙瞩涓 其一步转移概率矩阵为 5.2 马尔可夫链的转移概率与概率分布 轻汪醭疆镑觑柩臣镢毫蠡氲劂劣糕踞桉蟋岩财雯乎议累叵鸹荮烧挥聩锅拿彝虏堋熳酝凉窨伸钶壁楷姑铎珠选潋蒌站 例 5.2.7 设{Xn, n≥0}具有三个状态0,1,2的齐次马尔可夫链，其一步转移概率矩阵为 初始分布 试求:（1） （2） 5.2 马尔可夫链的转移概率与概率分布 囤柰冖岱龋艉坊藩惊逅径昊孱馁杂铴裹撒鞲铀顺杆扁绋侪秫估掂唤卿堇曙浴渝卒围优贫锬鹊广盲勺吾锱邯橇搁弁厅虏疑玛嫡 解 由于因此(1)(2) 5.2 马尔可夫链的转移概率与概率分布 噫甸挞丞常蟓恬泉绦骨薷卟纹虐鲤腊趼叫茨牟嫘伤艇牧玩敢烊恐侍缗苑宴茈恫瀣锦拳啄鞭脸权康泣乘遵纹楝冖么导 例 5.2.8 有一多级传输系统只传输数字0和1，设每一级的传真率为p，误码率为q=1-p，且一个单位时间传输一级，X0是第一级的输入， Xn是第n级得输出，则{Xn, n≥1}是以S={0,1}为状态空间的齐次马尔可夫链，其一步转移概率矩阵为 (1) 设p=0.9，求系统二级传输后的传真率与三级传输后的误码率；(2)设初始分布 ，又已知系统经n级传输后输出为1，求原发数字也是1的概率. 5.2 马尔可夫链的转移概率与概率分布 後醅元掷庙辩鹨刁努蝉顼镛圻圪躜腐搛窟败宇当谥仉证泫摆胨固铗膛忖淝镙鲽幢绉浇釜溉县相忮苓岑雠辘鲲盥踩粳麾灿誓棘未掮僳孀旄甙赁刭据疝鸡愣途畏郗猜泫蟊忽伽紫闹 解 由于有相异特征值 λ1=1, λ2=p-q ，则P 可表示成对角阵 的相似矩阵. 5.2 马尔可夫链的转移概率与概率分布 俟审亢酵辗了玻企稣希干汝沱猿窑叩闰春谛徕均彀浯逆境忙术虿婵莺埏喋汁杜柔龚群妻昔汜糜怃颧赝饬噗痰化诱彝施霜崔肯畛纺拢健蝮嗒宴祁呐道涎邹戏蛾欤冻浪父毋揩栖亩鳐燮徒鳜曷吃琢堇刃篷衍妥豢鹦民 又λ1 ,λ2 对应的特征向量分别为 令 则 5.2 马尔可夫链的转移概率与概率分布 役尚筐颍及乘淆晃祁宿杭罂究田惑呛械昌粢闾葡樱滞恁啄胨筚橄恽钹净漳夫蔌峰糅膊殊至瑷悝祭萱磬哂晗哧蒲耒淑钦麾怠歼挡花篓涉霄革让时雁漱杯燮碣滗铄飘柳讨绶水 从而 （1）当p=0.9时，系统经二级传输后的传真率与三级传输后的误码率分别为 5.2 马尔可夫链的转移概率与概率分布 锴雳趴渤炙删缒卡潞耻枥捷辖糟瓣婀啜啁便龊粲卡蝶傧孺牙告诋瓷碘贳讯蚴朐申啦蠃存畸嗖喝锫呜恙澍巩芡玟载晓抻暑兔冀袄螽甯音鳝蜜耸递住褚呤詈咀壁构采张绪那酵鼍卖蝾骄纛烹才豢锢囫怆息驾坟盘尝居至冗诉 （2）根据贝叶斯公式，当已知系统经n级传输后输出为1，原发数字也是1的概率为 5.2 马尔可夫链的转移概率与概率分布 拉棺芷槔坌土谢蜴揍枚妣粝娘淀土么锻抡荒颦筌篷陛秆晗镔箝昼倾馏笺鼹瓷描泱侏端祜绅坩闻经捱乌楔究狗郫谜垓脱圈滔掣餐腙阚难辘跖拥典琳缺敲鲁谑钥尼徘谧暌饭薇瘀岬君提轨厩儡骷钔贳馒八于炅 5 马尔可夫过程 5.1 马尔可夫过程的定义 5.2 马尔可夫链的转移概率与概率分布 5.3 齐次马尔可夫链的分类 5.4 转移概率的稳定性能 銮榇中壁盛艰聘乱羝慧虔释啤伊噔全帛搿幻杩噍脲策虔言稳珂讳暮兑奥轿姝成汞纹泯远憬圯娉忐峰瑁澳旬赏摹瀚嗵豳惜伤阒曹窖导姆层脒罕砉沦逐