马尔可夫链与泊松过程.docVIP

Ch.7 马尔可夫链与泊松过程 马尔可夫过程是研究信号多级传输、分子的布朗运动、顾客服务、计算机网络流量等等诸多问题时使用的经典模型。 本章讨论： 1）马尔可夫过程的基本概念 2）转移概率与C-K方程 3）状态分类及极限特性 4）独立增量过程定义及性质 5）泊松过程定义及相关问题 Ch.7 马尔可夫链与泊松过程 马尔可夫链 马尔可夫链的状态分类 独立增量过程 泊松过程 7.1 马尔可夫链 此句作为后面每页ppt的标题 随机序列，可数集状态空间， 恒成立，则称是马尔可夫链（Markov chain）称为马尔可夫性（马氏性）无后效性。 ，，条件概率 为(时刻的)一步转移概率(One step transition probability)。 (Homogeneous Markov chain) ： 满足下式条件的马尔可夫链： 转移概率性质： （1） （2） 步转移概率时刻到时刻的转移概率 并且： （1） （2） 。 设，，其中是独立随机序列，试说明是马尔可夫链。 解： 级联的独立二进制传输系统如图所示 试说明是齐次马尔可夫链，并求（一步）转移概率。 解：（1）是齐次马尔可夫链，因为 （2）一步转移概率矩阵为 时刻的转移概率矩阵 对于齐次马尔可夫链： 状态转移图：用圆圈示状态，带箭头的弧线示可能的转移及其概率 直线上作随机游动的质点：时刻的游动位移为且统计独立，。相应取值概率为。令，，试说明是马尔可夫链。 解：是例7.1中函数时的一个特例。 若是马尔可夫链，称行向量 时刻的概率分布向量。 设， 向量形式 （查普曼-柯尔莫洛夫方程，马尔可夫链的转移概率矩阵满足 简称C-K（Chapman-Kolmogorov）方程。 矩阵形式 证明思路：运用全概率公式和马尔可夫性 证明：当时 的齐次马尔可夫链 （1） （2）步转移概率： （3）步转移概率矩阵： （4） （5） （6） 随机序列，取值(0，1)，概率，，经过累加器后得到随机过程。（1） 证明是齐次马尔可夫链；（2）给出的转移概率矩阵与状态图；（3）求步转移概率。 解：（1）证： 且为独立平稳序列，是例7.1的特例； 因此是齐次马尔可夫链。 （2）的一步状态转移概率矩阵 （3）利用二项分布特性 记为在两个反射壁之间作一维随机游动粒子的位置，状态空间为， 绘出状态图； 求时刻处于状态0且时刻处于各状态的概率； 求时刻处于状态0且时刻处于各状态的概率。 解：（1）状态图 反射壁(Reflecting barrier)：由于在0与2状态上，以概率1转移（弹回）到下一状态。 （2） ,, （4） ,, 某个具有双吸收壁的质点随机运动的状态图如下，试给出它的一步转移矩阵。 解：吸收壁（Absorbing barrier）(Absorbing state)。 一步转移概率矩阵： 马尔可夫链，如果存在一种分布 则称为的一个平稳分布。 一旦进入分布后，它就处于该分布上。的极限分布。的齐次马尔可夫链， ，，求： 时刻的状态概率向量； 给出其中的一个可能序列； 当时是否存在？ 解：（1） （2）的可能样本序列为010101…或101010…。 （3）当为偶数时： 当为奇数时： 所以，不存在极限。 取值为的有噪声对称二进制传输系统， ，，，其中，和分别是输入输出随机变量。将该类型传输系统进行级级联，并设输入到该级联系统的信源数据概率为。求： （1）系统的转移概率。 （2）信源经过级联系统后，输出符号的取值概率。 （3）当趋于无穷大时，上述两问的结果又如何？ 解：该系统是一个齐次马尔可夫链， （1）级级联后系统的转移概率为 特征分解，故有， （2）信源经过该级联系统后，输出符号的取值概率为 === （3）令趋于无穷大， 当时，，并且 当时，如果，因此，而；如果，与都不存在。 本例说明了一个有趣的结果：不论原始信息的分布如何，经过很多次有错（）传播后，即使错误概率很小，其分布总趋于均匀分布，信息趋于未知。7.2 马尔可夫链的状态分类 此句作为后面每页ppt的标题 齐次马尔可夫链，对任意给定的两个状态，存在整数使,则称状态可达状态，简记为若存在整数，使也成立，则称状态和状态是互通的，简记为。 出发到达状态的所有可能轨道，从状态出发，经过步转移后首次到达状态的步数， 出发后首次到达状态的时间，简称为首达时间。 出发，状态标记为的取值空间：。 ，称 出发到达状态步首达概率。 ，称 出发到达状态的最终到达概率。 ，因此有 显然，，当时 （1）简称为步首概率； 2） 简称为最终概率。，若，则称状态是常返的；若，则称状态是非常返的。 ，称 出发的平均步数。；否则，因