随机过程16(4.1-4.2) 马尔可夫过程幻灯片课件.ppt

第五章 马尔可夫过程;马尔可夫 (1856年6月14日——1922年7月20日）;王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派到天津南开大学数学系任教. 是一位对我国科学和教育事业作出卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术带头人之一。 1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过程理论。 　　当时中国近代数学才刚刚起步，大学也没有概率课程。此时苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定为概率论， 著有《概率论基础及其应用》、《随机过程论》、 《生灭过程与马尔科夫链》等9部数学著作． ;马尔可夫过程的定义 马尔可夫链的转移概率与概率分布 齐次马尔可夫链状态的分类 转移概率的稳定性能;一　马尔可夫过程的定义;特别　对取T={0,1,2,···}的马尔可夫链，记为;二 马尔可夫链的转移概率与概率分布;特别 当k=1时，;定义 称可数维的矩阵;２. Chapman-kolmogorov方程;系统在n 时从状态i的出发,经过k+m步转移,于n+k+m时到达状态j,可以先在n时从状态i出发，经过k步转移于n+k时到达某种中间状态l,再在n+k时从中间状态l出发经过m步转移于n+k+m时到达最终状态j,而中间状态l要取遍整个状态空间S.;定理 马尔可夫链的k 步转移概率由 其一步转移概率 所完全确定.;1）初始分布;;又因为马尔可夫链的k步转移概率由一步转移概率所 完全确定.;3）绝对分布;;4.齐次马尔可夫链;定理 ;例１(天气预报问题) 如果明天是否有雨仅与今天的天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则; 例2(有限制随机游动问题) 设质点只能在{0，1，2，···，a}中的各点上作随机 游动，移动规则如下：;设Xn表示质点在n时刻所处的位置，则;例3 设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛子中随机的摸出一球，并换入一个相反颜色的球.;例４ 设;解;;练习 设