中南大学随机过程第八章优秀培训书.pptVIP

计算机科学与工程学院　顾小丰 随机过程与排队论 数学科学与计算技术学院 胡朝明 Email：math_hu2000@csu.edu.cn * 上一讲内容回顾 离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、极限分布 遍历性 平稳性 本讲主要内容 齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性 §3.3 齐次马氏链状态的分类 一、互通 首达 首达 　　从状态i出发经过n步首次到达状态j的时刻 Tij＝min{n：X(m)=i,X(m+n)=j,n?N} 称为首达时刻。 　　首达时刻是一个随机变量，它的取值是从状 态i出发，使得X(n)＝j的最小正整数n。 返回 当j＝i时 定理1 对任意i,j?E及n?1，有 定理2 fij＞0 ? i→j 二、常返 如果fii＝1，则称状态i是常返状态； 如果fii＜1，则称状态i是非常返状态，或瞬时状态。 返回的次数 定义随机变量 正常返与零常返 设i是常返状态，fii＝1， 如果 ，称状态i是一个正常返状态； 如果 ，称状态i是一个零常返状态，或消极常返状态。 定理 设i是常返状态，则i是零常返的充分必要条件是 三、状态空间分解 设C是状态空间E的一个子集，若C外的任一状态不可 不可约马氏链 一个马氏链，如果除了整个状态空间E构成 四、有限马尔可夫链 状态空间E是有限集合的马氏链称为有限马氏链。 五、状态的周期性 称d＝GCD{n：pii(n)＞0}为状态i的周期。 这里，GCD表示最大公约数。 六、极限定理 如果j是一个非周期常返状态，则 例1 两个吸收壁的随机游动 状态空间 E＝{1,2,3,4} 状态转移矩阵 例1(续) p11＝1， 例2 设齐次马氏链的状态空间E＝{1,2,3,4}， 例2(续1) 由图可知，对一切n?1，f44(n)＝0，从而 例2(续2) 故状态1和2都是正常返状态，又d＝1，故都是遍历态。 例3 设齐次马氏链的状态空间E＝{0,1,2,…}，转移概率为 例3(续) 对状态0 例4 设齐次马氏链的状态空间E＝{1,2,3,4,5,6}， 例4(续1) 故状态1为正常返状态，且周期为3. 例4(续2) 故状态2为正常返状态。 本讲主要内容 齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性 下一讲内容预告 连续参数马尔可夫链 转移概率函数、转移矩阵 连续参数齐次马氏链 初始分布、绝对分布、遍历性、平稳分布 转移概率函数的性质 状态转移速度矩阵 生灭过程 习　题　四 P155 23. 胡朝明 如果存在某一个n≥1，使得pij(n)＞0，i,j?E，则称从状态i可到达状态j，记为i→j；否则称状态i不能到达状态j，记为i→j，此时对一切n，均有pij(n)＝0。 如果i→j且j→i，则称状态i和j互通，或称相通，记为i?j。 容易证明，互通关系具有以下三个性质： (1)自反性：i?i； (2)对称性：若i?j则j?i； (3)传递性：若i?j且j?k，则i?k。 　　自状态i出发经过n步首次到达状态j的概率 fij(n)＝P{Tij=n|X(m)=i} ＝P{X(m+n)=j,X(m+k)?j,1?kn|X(m)=i} 称为首达概率。 自状态i出发迟早(最终)到达状态j的概率定义为 Tii：表示从状态i出发首次返回i的时刻； fii(n)：表示从状态i出发经过n步首次返回i 的概率； fii：表示从状态i出发迟早返回i的概率。 称为自状态i出发首次到达j的平均时间(平均步数)； 称为自状态i出发首次到达i的平均返回时间(平均返回步数)； 证明 设系统从状态i出发经n步到达状态j，则Tij?n， pij(n)＝P{X(n)＝j|X(0)=i} 。■ 证明 ?) 设fij＞0，因为 ，所以至少有 一个n≥1，使得fij(n)＞0，由定理1得 故i→j。 ?) 设i→j，则存在n≥1，使得pij(n)＞0，由定理1得 从而fij(1),fij(2),…,fij(n)中至少有一个大于0，所以 。■ 推论 i?j ? fij＞0且fij＞0 状态j常返的充分必要条件是 ； 判别常返状态的准则： 状态j非常返的充分必要条件是 ； 若状态j是非常返的，则 。 则随机