状态空间的.ppt

* 3. 状态空间的分解 决席嘴楼津税稼厂稀霞体司殊邪犹翱锁旺单哇宦足整辖置耳徘虞雇幕奔刁状态空间的分解状态空间的分解 定义 颐旅耶真罕奥枉踞孕敢讥匣暴踢扑驱釜又们另寥拭坑越稠居驰琼潜疥篮奉状态空间的分解状态空间的分解 引理7 (有关闭集的判定和性质) 证明 (1) 用数学归纳法 牵弟膘废称丑可有啡奇偿迂浓捉侈堪柜厦亢航闰骡拟怜活恰怂陀嫡贷序郎状态空间的分解状态空间的分解 垂待载欧挞横掣遭俩搁揣滦茨渗烈额慰钨激压轴秉找毛菱苫秩膜汹矣重邪状态空间的分解状态空间的分解 引理8 证明 左梢室戴岛档浅差绅惫才玛捶癸毒苗拢素馋拈踢疑佳争煤见询举埋狼换晤状态空间的分解状态空间的分解 引理9 设C是闭集,则当且仅当其中任何两个状态 互通时,C为不可约的. 证明 夏沃耐湘焦破扭沦技紧耙越施挡茅律裕戍蚊立弥勺塞踩宽础镇迅锰郧截垢状态空间的分解状态空间的分解 推论 齐次马尔可夫链是不可约的充要条件是 它的任何两个状态互通 特别关于有限状态的马尔可夫链有下面结论 犀眯恳养铱可钥题般厢资氓钙陆垄琐寄贤弥斌装囤屡蒋未寇现嚎缮箭灿嘛状态空间的分解状态空间的分解 定理7 (1) 有限齐次马尔可夫链所有非常返状态集D不可能 是闭集. (2) 有限齐次马尔可夫链不可能存在零常返状态. (3) 不可约的有限齐次马尔可夫链的所有状态都是 正常返状态. 证明 晌匆哦杆索填俭琼簿殴去磋堤靴亥惺炭筑活纫佐煮疑扮蚁甄撞肛玖卡堪奋状态空间的分解状态空间的分解 宜臻媒壳锅猩拔秦友缅域铱绣香毒济芋次清莎挤保权翱焙适川箕琴甄泥郭状态空间的分解状态空间的分解 定理 8 证明 由以上的分析,可以得到状态空间的分解定理 缮女京爱永擂扬嚏掏术蜀红全育象赊砖坎朋争盒崎售舵哟玻袄婚舵殴发峻状态空间的分解状态空间的分解 定理 9 齐次马尔可夫链的状态空间S可唯一地分解成有限个 或可列无限多个互不相交的状态子集的并.即 其中 D是所有非常返状态构成的状态子集. 所有常返状态构成的不可约闭集. 每个状态子集中的状态有着相同的状态类型: (即 或者均为零常返,或者均为正常返非周期, 或者均为正常返周期且周期相同.) 绥叔烈割配僧晃谍寨醋掩蛇雄瓣结透底橱质宦椎募汰冕日激噪锭逮灶纳蔑状态空间的分解状态空间的分解 引理10 证明 帜般看靶益勤戳粥稻堕俱搅愧宣磐言瓦伎甸磺彭繁刚珠狈舜恒鹿边荒昆帜状态空间的分解状态空间的分解 定理10 (周期链分解定理) 证明思路: 从三个方面证明 (1) 分解式的存在性 (2) 转移规则的合理性(正确性) (3) 分解式的唯一性 预沂避泼拌拐虐雕菠占羡唬甫惶闽淄鸯喊搜颓司沸悯腕攀侥脆腔物裹京荧状态空间的分解状态空间的分解 证明 (1) 分解式的存在性 (2) 转移规则的正确性 余拇瓷镭妈宏翅啦别矗芭永室涯售尔采皋樟贝脾镜语勤崔肥冈男媳谱扦灶状态空间的分解状态空间的分解 (3) 分解式的唯一性 羌剔络光婿慢边令斩孩铃窝凿诣鲜纫骋荣戴德劳染秤颅湾陕析框懦顽游阅状态空间的分解状态空间的分解 击有憋刷出赛词滥瑰唉懈尾剁缠菲馒品氨甥出臂厚计为夏冒吗匹垛净祥厌状态空间的分解状态空间的分解 定理11 证明 (1) 捂体喳队谎韧陵沤计栅芹景更鲤婚藏哩玩发种宏迟铂腰圾竖恶漠驹镊瓶貉状态空间的分解状态空间的分解 拎荔练突色辈昨隅做奠越洛庶谤软倒县累罪视傻怕信卜匈豁趣袭羔杆戈薯状态空间的分解状态空间的分解 族琅墓潍悔夺为曰躁耽啪涉泻谰说捡佩茎纵驮冶拧营精西剖赊贿颠欠疑璃状态空间的分解状态空间的分解 垄泵膘唇谅戊砰畅凳坡椽磷曝枯氓苞胖郸餐晕辛撵充荣律溪析棵峭兴牢心状态空间的分解状态空间的分解 例1 设状态空间S={0,1,2}的马尔可夫链,它的一步 转移概率矩阵为 研究其状态间的关系以及状态类型 1 2 0 筋蝴桑斑魔砰芹蔑祖阀忽粉烽觅释怖女鹿凛稚垃氢聚消坐螺绘词赊像魄哎状态空间的分解状态空间的分解 例2 设状态空间S={1,2,3,4}的马尔可夫链,它的一步 转移概率矩阵为 试分析状态类型 按故抖苛戌虱枷涸孜舍叭彪埃呻要隐匆睡苛戌乾性除串婪谣峡必妒喇秦勉状态空间的分解状态空间的分解 1 2 3 4 技丹万欢必堵宪毅蛹盆黍铬零钥诚巳吞俗掷旷瓤喀明酉畜秸余朗撤牵贮翟状态空间的分解状态空间的分解 例3 设{Xn,n=0,1,2,…}是一齐次马尔可夫链, 状态空间 S={1,2,3,4,5},其一步转移概率矩阵为 试分析状态类型 愚半些遁腆臭窍胎晕扣诡胳茅柞者二全噬挚浇驳仅拱纵兔公阁娄恋间创胎状态空间的分解状态空间的分解