随机过程第5章.docVIP

第五章 离散参数Markov链 5.1 Markov 链的基本概念 1．Markov 链和转移概率矩阵 定义5-1 考虑只取有限个或可数个值的随机过程．把过程所取可能值的全体称为它的状态空间，记之为E，通常假． 若就说“过程在时刻n处于状态i”． 若对任意状态有 这样的随机过程称为Markov链． 假设每当过程处于状态i，则在下一个时刻将处于状态j的概率是固定的，即对任意时刻n，有，称过程具有齐次性． 称矩阵 是一步转移概率矩阵，简称为转移矩阵． 由的定义可知，这是一种带有平稳转移概率的Markov链，也称作时间齐次Markov链或简称时齐次Markov链．我们研究的均为齐次马氏链． 2．例题 例5-1（直线上的随机游动） 考虑在直线上整数点上运动的粒子，当它处于位置j时，向右转移到j+1的概率为p，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即．于是粒子在时刻n所处的位置就是一个Markov链，且具有转移概率 当时，称为简单对称随机游动． 例5-6（排队模型） 考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务．设在第n个服务周期中到达的顾客数为一随机变量，且序列是独立同分布随机序列，即 且 设为服务周期n开始时服务台前顾客数，则有 此时为一Markov链，其转移概率矩阵为 例5-8（生灭链） 观察某种生物群体，以表示在时刻n群体的数目，设为i个数量单位，如在时刻n+1增生到i+1个数量单位的概率为，减灭到i-1个数量单位的概率为，保持不变的概率为，则为齐次马尔可夫链，，其转移概率为 ,称此马尔可夫链为生灭链． 3．定理5-1 设随机过程满足： （1）其中，且取值在E上； （2）为独立同分布随机变量，且与也相互独立，则是Markov链，而且其一步转移概率为，对于任意， 证明： 设，由上面(1)、(2)可知，与互相独立，所以有 同理 即是Markov链，由时间齐次性，其一步转移概率为 于是定理5-1得证． 4．定理5-2 时齐次Markov链完全由其初始状态的概率分布 和其转移概率矩阵所确定． 证明： 对于任意，计算有限维联合分布，由概率的乘法公式及马氏性可知 定理5-2得证． 5．例题 例5-9 （1）（二项过程的概念）设在每次试验中，事件A发生的概率为，独立地重复进行这项试验，以表示到第n次为止事件A发生的次数，则是一个二项过程． 说明：令表示第n次试验中事件A发生的次数，则且独立．（易知为马氏过程） 而服从二项分布，故称此为二项过程． （2）二项过程具有独立平稳增量性． 证明：易知增量， ，等等相互独立； 且，即具有平稳性． 即为一个独立平稳增量过程． （3）独立平稳增量过程为马氏过程． 5.2 C-K方程 1．定理5-3 Chapman-Kolmogorov方程 对任何整数， 有或 证明：这里只需要证明成立，再依次递推即可证明本定理．（？） 因为 根据矩阵的乘法规则，知． 定理得证． 注：定义m步转移概率， 表示给定时刻n时，过程处于状态i，间隔m步之后过程在时刻n+m转移到了状态j的条件概率．还约定，， 以表示第i行、第j列的元素矩阵=(),称为Markov链的n步转移概率矩阵． 2．例题（两状态Markov链） 例5-10 在重复独立贝努里（Bernoulli）试验中，每次试验有两种状态，设表示第n次试验中出现的结果，且有 其中，则显然是独立同分布随机序列，从而它是Markov链．于是经过计算有 所以，一步转移概率矩阵为 而且有 5.3 Markov链的状态分类 1．互通 定义5-2 称自状态i可达状态j，并记，如果存在，使，称状态i与j互通（相同，互达），并记为，如且 2．定理5-4 可达关系与互通关系都具有传递性，即如果且，则 证： 因为有，，所以存在，使 由C-K方程 这里，所以成立． 若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕． 3．定义5-3 设为齐次Markov链，其状态空间为E。对于任意，如果集合非空，则称该集合的最大公约数为状态i的周期，若就称状态i为有周期的，且周期为d；若就称状态i为非周期的． 4．定理5-5 如果Markov链状态i的周期为d，则存在正整数M，对一切，有 证：设，令 则 故存在正整数N，使得，因此 故存在正整数M，对一切，由初等数论有 由于，因而当时 定理5-5得证． 5．首达概率 设状态，首达概率定义为 而且令 表示过程从状态i出发经n步首次到达状态j的概率，称为首达概率．再令 它表示过程从状态i出发经有限步到达状态j的概率，即从状态i出发经有限步终于到达状态j的概率． 6．常返 定义5-6 称状态i为