平稳分布和极限分布一个概率分布.PPTVIP

第三章 马尔可夫链与马尔可夫过程 3.1 马尔可夫链的定义与转移概率 3.2 马尔可夫链的状态分类 3.3 常返状态及其极限概率 3.4 周期状态及其极限概率 3.5 马尔可夫过程定义 3.6 纯不连续马尔可夫过程 3.7 齐次可数的纯不连续马尔可夫过程 3.8 转移概率函数的极限特性和状态分类 3.1 马尔可夫链的定义与转移概率 状态和时间参数都是离散的马尔可夫过程称为马尔可夫链。 定义3.1-1，对于 ，如果对任意的 及所有 ，均有 3 一步转移概率 定义3.1-2 如果对任意m,n N+ 5. 推论3.1-4 设齐次马氏链的初始概率条件分布为： 定理3.1-5 3.2 马氏链的状态分类 定义3.2-6 引理3.2-8 定理3.2-11 如果状态j是常返的，则以概率1，系统无穷次返回状态j；如果状态j是非常返的，则以概率1，系统只有有限次返回状态j，亦即系统无穷次返回状态j的概率为零。定理3.2-12 4、依赖于 的状态判别法： 5、平稳分布和极限分布 5、平稳分布和极限分布 * * 则称随机过程X为一个Markov Chain，简称马氏链 1、如果已知系统的现在状态，则系统的将来与过去历史无关，这种特性为马尔可夫特性或无后效性。 2、定义3.1-1的等价形式 用矩阵形式表示 称P（m）为马氏链在m时的转移矩阵 则 即从状态i转移到状态j的概率与转移时刻m无关，称这类马氏链为齐次马氏链。 4、对齐次马氏链，其转移矩阵为： 定理3.1-1 设 是一齐次马氏链， 马氏性 齐次性 则 则 说明：一旦 及转移矩阵P已知，则 的有限维 联合分布就可以完全确定 6、多步转移概率 说明：齐次马氏链从状态i经过m步转移到状态j的概率恰为转移矩阵P经m次乘方后所得矩 阵Pm的第（i,j）个元素，因此称矩阵Pm为m步转移矩阵。 可证明： 对于非齐次，切普曼-可尔莫哥洛夫方程也成立，唯一区别在于需要考虑转移的始点 或由元素表示 切普曼-可尔莫哥洛夫方程 例子 如果对状态i和j，存在某个n=1，使 则称自状态i可达状态j，记 ，否则 定义3.2-1 推论3.2-2 定义3.2-3 定理3.2-4 1、首次进入时间 定义3.2-5. 说明：Tij是从状态i出发，首次进入状态j的时刻 显然有： 即系统自状态i出发经n步首次到达状态j的概率。 定义3.2-7、 即系统自状态i出发，迟早要到达状态j的概率 例 定理3.2-9 推论3.2-10 说明：Tii：自状态i出发，首次返回状态i的时刻 fii：自状态i出发，在有限步内迟早要返回状态i的概率 2、分类 如果 fii =1，则称状态i是常返的。 如果 fii 1，则称状态i是非常返的。 证明 对常返状态i，它的平均返回时间为： 如果 ，则称状态i为正常返的、 如果 ，则称状态i为零常返的 如果 ， 则称状态i是周期为t（t1）的，若不存在 上述t，状态i称为非周期的。 3、非周期的正常返状态称为遍历状态 (当n充分大时,系统位于j的概率几乎不依赖于开始所处的位置) 定理3.2-13：如果 ，则它们或同为非常返或同为常返；在后一情况或同为零常返 或同为正常返。 定理3.2-14：如果 ，则它们或同为非周期或同为周期；在后一情况有相同周期t 定理3.2-15： (1)若自某状态集合或子集合中的任意一个状态，均不可达此集合外的任意 一状态，则称该状态集合为闭集。 （2）由单个状态形