随机过程教学课件：第三章 马尔可夫链.pptVIP

第三章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov方程 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 马尔可夫链定义 马尔可夫链的状态分类 周期、非周期 常返、非常返 正常返、零常返 遍历状态 状态空间的分解 * * 标准数字电视（SDTV）的信息传输问题 Quality Evolution 通信系统的信息传输问题 信源 信道 信宿 0110111110… 1011011000… 设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1, …,in+1∈I，条件概率满足 则称{Xn,n∈T}为马尔可夫链，简称马氏链 将来的状态只与当前状态有关，与过去状态无关 定义4.2 称条件概率 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。 定义4.3 若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔可夫链是齐次马尔可夫链。 设P表示一步转移概率所组成的矩阵，则 称为系统状态的一步转移概率矩阵，它具有如下性质： 随机矩阵 定义4.4 称条件概率 为马尔可夫链{Xn,n∈T}的n步转移概率，并称 为马尔可夫链的n步转移矩阵。 例题 设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为 求