概率论第八章[精选].pptVIP

转移概率的性质 马氏链的有限维分布 8.3 遍历性与平稳分布 （2）由 可知 （3）由C-K方程可知 解: 先求出二步转移概率矩阵 于是 0→0，8次，0→1，18次； 1→0，18次，1→1，52次。 因此，一步转移概率可用频率近似地表示为 （1）试求一步转移概率； （2）若计算机在前一段（15分钟）的状态为0，那么从本时段起，此计算机能连续3个时段正常工作的概率是多少； 解 （1）96次状态转移的情况是： （2）由题意，计算机在前一段（15分钟）的状态为0，意味着初始分布为 计算机能连续3个时段正常工作的概率是 例 11 对于只有两个状态的马氏链，一步转移概率矩阵一般可表示为： 试求n步转移概率矩阵。 解 ，特征方程为 有相异特征值 由线性代数知识，可将矩阵P 表示为对角阵 的相似矩阵。 ，则 由 ，容易算得 对应的特征向量 具体做法是：求出 练习：设马氏链 的状态空间为 ，初始分布为 一步转移概率矩阵为 （1）计算 ； （2）证明 ； （3）计算 ； （4）计算 。 对于一个系统来说，考虑它的长期的性质是很必要的，比如当 时， 的极限 是否存在？ 所以问题可以转化为研究 的极限性质，即研究 是否存在？存在的话，其极限是否与 有关？有关这两方面问题的定理，统称为遍历性 定理。 一 遍历性 由全概公式可知 对于一般的两个状态的马氏链，有 具有遍历性的马氏链是否存在呢？ 由于 ，上式得极限为 可见此马氏链的 步转移概率有一个稳定的极限， 什么时候会存在呢？ 无关，并且 对于一般的马氏链， 其极限与 证：由于： 故 即，经过无穷次转移后处于 状态的概率与 初始状态无关，与初始状态的分布也无关。 推论8-1 如果马氏链是遍历的，则 所取的值与初始状态的分布无关。 解 先求出二步转移概率矩阵 于是 （1） （2） （3）由于所有的二步转移概率均大于零，由定理8-2可知，此链具有遍历性； 又 ，则 ，可得 （4）由 例12 设一马氏链的一步转移概率矩阵为 试讨论它的遍历性。 解: 先算得 定义 8-8 一个定义在状态空间上的概率分布 称为马氏链的平稳分布，如有： 即， ，有： 在定理8-2的条件下，马氏链的极限分布又是平稳分布。 二 平稳分布 * * 第八章马尔可夫链 马尔可夫链的定义及例子 多步转移概率及C-K方程 遍历性与平稳分布 一 马尔可夫链的定义 8.1马尔可夫链的定义及一些例子 证 由定义知，只要证明在已知 已知 的条件下 相互独立即可 由独立增量的定义知，当 时，增量 与 相互独立。根据条件 即有 与 相互独立。这表明 相 互独立。即 是一个马尔可夫过程。 状态和时间参数都是离散的马尔可夫过程称为马尔可夫链，或马氏链。 证 可见, 的状态空间 对任意的 及 是一个马氏链。 由马氏链定义及概率论知识可知 所以，马氏链的有限维分布完全由初始分布和条件概率确定。如何确定这些条件概率是马尔可夫链理论和应用中的重要问题之一。 二 转移概率 否则，就称之为非时齐的。 例3：（0-1传输系统）在只传输数字0和1的串联系统中，设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为 ，误码率为 ，并设一个单位时间传输一级， 是第一级的输入， 是第 级的输出 。那么， 是一随机过程，状态空间 。 1 2 n 显然，当 为已知时， 所处的状态的概率分布只与 有关，而与时刻 以前所处的状态无关。 所以他是一个马尔可夫链，而且还是齐次的。 他的一步转移概率为 从而他的一步转移概率矩阵为 解 对任意的n及 所以 为马氏链。 由于 独立同分