随机过程课件第五章.docVIP

第五章 离散参数Markov链 5.1 Markov链的基本概念 1、Markov链和转移概率矩阵 定义5-1 考虑只取有限个或可数个值的随机过程。把过程所取可能值得全体称为它的状态空间，记之为E，通常假设。若就说“过程在时刻n处于状态i”，假设每当过程处于状态i，则在下一个时刻将处于状态j的概率是固定的，即对任意时刻n 若对任意状态有 这样的随机过程称为Markov链。 称矩阵 是一步转移概率矩阵，简称为转移矩阵。 由的定义可知，这是一种带有平稳转移概率的Markov链，也称作时间齐次Markov链或简称时齐次Markov链。且具有， , 2、例题 例5-1（直线上的随机游动） 考虑在直线上整数点上运动的粒子，当它处于位置j时，向右转移到j+1的概率为p，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即。于是粒子在时刻n所处的位置就是一个Markov链，且具有转移概率 当时，称为简单对称随机游动。 例5-6（排队模型） 考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。设在第n个服务周期中到达的顾客数为一随机变量，且序列是独立同分布随机序列，即 且 设为服务周期n开始时服务台前顾客数，则有 此时为一Markov链，其转移概率矩阵为 。 例5-8（生灭链） 观察某种生物群体，以表示在时刻n群体的数目，设为i个数量单位，如在时刻n+1增生到i+1个数量单位的概率为，减灭到i-1个数量单位的概率为，保持不变的概率为，则为齐次马尔可夫链，，其转移概率为 ,称此马尔可夫链为生灭链。 3、定理5-1 设随机过程满足： （1） 其中，且取值在E上； （2）为独立同分布随机变量，且与也相互独立，则是Markov链，而且其一步转移概率为，对于任意， 证： 设，由上面(1)、(2)可知，与互相独立，所以有 同理 即是Markov链，由时间齐次性，其一步转移概率为 于是定理5-1得证。 4、定理5-2 时齐次Markov链完全由其初始状态的概率分布 和其转移概率矩阵所确定。 证： 对于任意，计算有限维联合分布，由概率的乘法公式及马氏性可知 定理5-2得证。 5、例题 例5-9（二项过程） 设在每次试验中，事件A发生的概率为，独立地重复进行这项试验，以表示到第n次为止事件A发生的次数，则是一个独立平稳增量过程。 实际上，由二项分布知识可知，服从二项分布，故称此为二项过程。若令增量 易见是第n次试验中事件A发生的次数，其概率为 且 为一个独立平稳增量过程，当然是一齐次Markov过程。 5.2 Chapman-Kolmogorov方程 1、定理5-3（Chapman-Kolmogorov（切普曼-柯尔莫哥洛夫）方程，C-K方程） 对任何整数，有 或 证： 这里只需要证明 成立，再依次递推即可证明定理5-3。因为 根据矩阵的乘法规则，定理得证。 注： 定义m步转移概率 表示给定时刻n时，过程处于状态i，间隔m步之后过程在时刻n+m转移到了状态j的条件概率。还约定。以表示第i行、第j列的元素矩阵，称 为Markov链的n步转移概率矩阵。 2、例题（两状态Markov链） 例5-10 在重复独立贝努里（Bernoulli）试验中，每次试验有两种状态，设表示第n次试验中出现的结果，且有 其中，则显然是独立同分布随机序列，从而它是Markov链。于是经过计算有 所以，一步转移概率矩阵为 而且有 5.3 Markov链的状态分类 1、互通 定义5-2 称自状态i可达状态j，并记，如果存在，使，称状态i与j互通（相同，互达），并记为，如且。 2、定理5-4 可达关系与互通关系都具有传递性，即如果且，则。 证： 因为有，，所以存在，使 由C-K方程 ，所以成立。 若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕。 3、周期 定义5-3 设为齐次Markov链，其状态空间为E。对于任意，如果集合非空，则称该集合的最大公约数为状态i的周期，若就称状态i为有周期的，且周期为d；若就称状态i为非周期的。 4、定理5-5 如果Markov链状态i的周期为d，则存在正整数M，对一切，有。 证： 设，令 则 ，因此 故存在正整数M，对一切，由初等数论有 由于，因而当时 定理5-5得证。 5、首达时间 定义5-4 设状态，首达时间定义为 表示Markov链从状态i出发，首次到达状态j的时间，称为自i到j的首达时间。表示从i出发，首次回到i的时间。 6、首达概率 设状态，首达概率定义为 而且令 它表示过程从状态i出发经有限步到达状态j的概率，即从状态i出发经有限步终