经典马尔可夫过程与泊松过程.pptVIP

三、平稳链 6.1 马尔可夫链 如果齐次链中所有时刻的状态概率分布列相同，即： 则此齐次链是平稳的。 对于齐次链： 由切普曼-柯尔莫哥洛夫定理 ..... 三、平稳链 如果齐次链的状态概率都相同，即p(n)=p(1)，则称为平稳链 只要p(2)=p(1),则必定p(n)=p(1) 因为 p(n)=PT(s,n)p(s)，所以p(2)=PT(1,2)p(1) 或者 p(2)=PT(1)p(1) p(3)=PT(2,3)p(2) p(3)=PT(1)p(2)= PT(1)p(1)=p(2)=p(1) ..... 对于平稳链: 三、平稳链 平稳链状态概率的计算 在方程 , 中取N-1个方程 求出 N 个未知数 ..... 三、平稳链 平稳链状态概率的计算 0 -2L 2L -L L 例2：具有反射壁的随机游动。设有一质点在线段上游动， 终端设有反射壁。质点只能停留在 上，游动的概率法则如下：如果游动前 质点在 位置，则以1/2概率向前或向后移动一 单位L，在 位置，则以概率1游动到 ，在 位置，则以概率1游动到 ，画出状态转移图，并求概率分布列。 ..... 三、平稳链 平稳链状态概率的计算 计算举例----反射壁 ..... 三、平稳链 平稳链状态概率的计算 上例中反射壁换成吸收壁 ..... 四、状态分类 6.1 马尔可夫链 1、到达和相通 如果对于状态ai与aj(简写为i与j)，总存在某个n(n?1)，使得Pij(n)0，即：由状态i出发，经n步转移以正的概率到达状态j，则称自状态i可达状态j，记为 此时对任意的n(n?1)，总有 无限制的随机游动，每个状态都是可到达的，带吸收壁的随机游动，吸收壁状态不能到达任何其它状态。 反之，i不能到达j，记为 ..... 四、状态分类 6.1 马尔可夫链 1、到达和相通 设两状态i与j，由状态i可达状态j，从状态j也可达状态i，则称状态i与j相通，记为: 无限制的随机游动，所有状态都是相通的，带吸收壁的随机游动，除吸收壁外，其余状态都是相通的。 性质： 到达具有传递性。即：若i?r，r?j，则i?j。 相通具有传递性。即：若i?r，r?j，则i?j。 ..... 四、状态分类 6.1 马尔可夫链 1、到达和相通 设两状态i与j，由状态i可达状态j，从状态j也可达状态i，则称状态i与j相通，记为: 无限制的随机游动，所有状态都是相通的，带吸收壁的随机游动，除吸收壁外，其余状态都是相通的。 性质： 到达具有传递性。即：若i?r，r?j，则i?j。 相通具有传递性。即：若i?r，r?j，则i?j。 ..... 四、状态分类 2、状态空间的分解 设C?I，若从子集C内任一状态i不能到达C外的任一状态，则称C为闭集。 闭集的充分必要条件是：i?C，j在C外，恒有 Pij(n)=0, n?1 若单个状态i构成一个闭集，则称此闭集为吸收态。 除了整个状态空间外，没有别的闭集的马氏链称为不可约的； 此时，所有状态相通。 ..... 四、状态分类 2、状态空间的分解 例：设有三个状态(0,1,2)的马尔可夫链，它的一步转移概率矩阵为 0 1 2 2 1 2 1 2 1 4 1 3 1 4 1 3 2 ????? ????? ??? 三个状态均相通，所以是不可约的。 ..... 四、状态分类 2、状态空间的分解 例：设有四个状态的马尔可夫链(0,1,2,3)，一步转移概率矩阵为 状态3为闭集，它是一个吸状态。 0，1两个状态与其它状态也不相通，0，1两个状态也是一个闭集。 0 2 3 2 1 2 1 4 1 1 4 1 P33=1,P32=P31=P30=0 ..... 四、状态分类 3、常返态和滑过态（非常返态） 定义Tij为自i出发首次到达状态j的时刻 对于某个状态j,xn可能永远也不为j,那么上式就不存在n,这时规定 永不出现 终身等待 为一随机变量，取值范围为 ..... 四、状态分类 3、常返态和滑过态（非常返态） 很显然， 一步转移概率 自i出发，永远也不能到达状态j的概率。 定义： 自状态i出发，在时刻n首次到达状态j的概率 ..... 四、状态分类 3、常返态和滑过态（非常返态） 永远也不能到达状态j的概率 定义： 自状态i出发，迟早要到达状态j的概率 很显然, ..... 四、状态分类 3、常返态和滑过态（非常返态） 定理: 对任意的