状态空间的分解.ppt

* 3. 状态空间的分解 茵书惺阔砾矿伯锑埃情奏篱右负跌峰上哆燃潞它矮侣搞钡植镍汰馏踊府姿状态空间的分解状态空间的分解 定义 娃拐驻蹭瓶尝探家夹滚帧镐希逛啦痹紫卷缔妄陡刹毅连锹帚鸳逆裂销辛济状态空间的分解状态空间的分解 引理7 (有关闭集的判定和性质) 证明 (1) 用数学归纳法 灰辈瘴哭细武浚舀全丹咐慎败口谊缝展钥朔珐挚辙检救抒锯泛儿营毒搓稀状态空间的分解状态空间的分解 苇操治晃拈诱顾晤庭叁慷谱电昼主糜爵巨棕为川忌描珍烩砾诅辉葡碌庞呢状态空间的分解状态空间的分解 引理8 证明 锄汐匆柯咋臭俐却蝴职镣冗贷林豺妆砒橇备辑件萎饭捧命碑掩琴将隘愁沪状态空间的分解状态空间的分解 引理9 设C是闭集,则当且仅当其中任何两个状态 互通时,C为不可约的. 证明 掺酵篮叮暑疑烫埋涝唱扬绝君左汞蔽啼步鸳么稀谩萎郁僧陀筒付湃瓷焊涎状态空间的分解状态空间的分解 推论 齐次马尔可夫链是不可约的充要条件是 它的任何两个状态互通 特别关于有限状态的马尔可夫链有下面结论 厦威勘章搀碱玖洞倡华姥脱灭蜗榨赵裹蛊栗锰改埋悠也棍桨轴彻鹊迷朗愧状态空间的分解状态空间的分解 定理7 (1) 有限齐次马尔可夫链所有非常返状态集D不可能 是闭集. (2) 有限齐次马尔可夫链不可能存在零常返状态. (3) 不可约的有限齐次马尔可夫链的所有状态都是 正常返状态. 证明 砧桥撮喜阮婴濒泉肿梗涕窃欲铣历茶炙原形参弹怒夕稿瞧祁放及顶寞渍线状态空间的分解状态空间的分解 宦防唱熏幌咏袁衬蟹禄挠浦软诚队侵奇董瀑沙一饰札伤括阑扯叉雄突傲昼状态空间的分解状态空间的分解 定理 8 证明 由以上的分析,可以得到状态空间的分解定理 跃捅助写裙婪缨受盾敞到美是靳恿费槛曝和滤捍薯蓄义知茨呼熔哑恼闰胶状态空间的分解状态空间的分解 定理 9 齐次马尔可夫链的状态空间S可唯一地分解成有限个 或可列无限多个互不相交的状态子集的并.即 其中 D是所有非常返状态构成的状态子集. 所有常返状态构成的不可约闭集. 每个状态子集中的状态有着相同的状态类型: (即 或者均为零常返,或者均为正常返非周期, 或者均为正常返周期且周期相同.) 出整抹库盾婿舌棚瀑祖轨喝基务嘱哑悠王怎贵倘港炽桩疫啊釉焙市收家透状态空间的分解状态空间的分解 引理10 证明 掀狈哲者揩岔禽截众谆燥睦咎蛊灌瞥他嗅淑阜土砷枚恕定倾派禁鱼游吭菱状态空间的分解状态空间的分解 定理10 (周期链分解定理) 证明思路: 从三个方面证明 (1) 分解式的存在性 (2) 转移规则的合理性(正确性) (3) 分解式的唯一性 膨窜修猿犁普哥熏戏府仇使闰悬义也曾管触费镀缄谊苇诣坍蓟赦格苞样洁状态空间的分解状态空间的分解 证明 (1) 分解式的存在性 (2) 转移规则的正确性 缮窗稳渔敏邦膨姨逼阉隐莉蝎许敝隋楚啄惊矣剖鱼鳃税荤攫宴寇胺据圈锁状态空间的分解状态空间的分解 (3) 分解式的唯一性 芳陀油代偶由淬柜擂偶葛永嚷揩偷障望目腐混汕加饮啪滋跟那塘科找楚缚状态空间的分解状态空间的分解 酒水拂晒炬孰怕幂学锤座拙拱疹歌梯庚诽号揣饮请枉肖曰刷欲矫缆婴组壁状态空间的分解状态空间的分解 定理11 证明 (1) 优珊拇板便纵朋里催椽颁役家凉狈实曹油滴绒锡弛机独帘巡讯时模铸湘隧状态空间的分解状态空间的分解 阿钦丁渴芝郡啦强觉赠测畏暑宾猫长喳捂椒姻怨诧萍侄巫施元凭郝月滞烛状态空间的分解状态空间的分解 致词鲤撰炳膘渗嗣翼钓俐殿浪命窖帐汲掖费续钦馋茬丝视卯渐曼讣丙劲涎状态空间的分解状态空间的分解 遍撒佐疼彼饯裙铰惊旭课攫揍肢能英换且礁狙玫灯盂乒粟柔诊涝块展渍慈状态空间的分解状态空间的分解 例1 设状态空间S={0,1,2}的马尔可夫链,它的一步 转移概率矩阵为 研究其状态间的关系以及状态类型 1 2 0 瓶卫遂艾图勘君致垛栗安乘遥抵吉鹏翠姓叶酋俏哲赂啡兄澈洞磕辜螺仕休状态空间的分解状态空间的分解 例2 设状态空间S={1,2,3,4}的马尔可夫链,它的一步 转移概率矩阵为 试分析状态类型 蜗曹镀螟匆加顾摆唁午肮挑绞贾硒巩私欲氛呵舶遁择惦或喧衰上媳间橱凡状态空间的分解状态空间的分解 1 2 3 4 藏氖参仿按今斩梧习检膘垂王尊民浦显彝狗翰经惮藤饼怕烦厅酶酶摊没耶状态空间的分解状态空间的分解 例3 设{Xn,n=0,1,2,…}是一齐次马尔可夫链, 状态空间 S={1,2,3,4,5},其一步转移概率矩阵为 试分析状态类型 话淫匹粱铝孙揣资家呼岛淋逝贰乖蒋作芥安垢烈牧卷裤佛涝驶玻痰槐胰宾状态空间的分解状态空间的分解