第10章节 马尔科夫链(重修班).pptVIP

第10章 马尔可夫链 10.2 多步转移概率的确定 10.2.1切普曼－柯尔莫哥洛夫方程 10.2.2 多步转移概率的确定 10.4 遍历性 * 10.1 马尔可夫链及其转移概率 10.2 多步转移概率的确定 10.3 马氏链的有限维分布 10.4 遍历性 10.1.1 马尔可夫链的定义 1、 马尔可夫性(无后效性) 马尔可夫过程是目前发展很快，应用甚广的一种重要随机过程。 马尔可夫性或无后效性。 2、 马尔可夫过程的定义 具有马尔可夫性的随机过程称为马尔可夫过程。 用分布函数表述马尔可夫过程 并称此过程为马尔可夫过程。 3、马尔可夫链的定义 马尔可夫过程按照其状态和时间参数是连续还是离散进行划分,其中状态和时间参数都是离散的马尔可夫过程称为马尔可夫链，这一节我们着重讨论马尔可夫链。 10.1.2 马尔可夫过程的概率分布 说明: 3、 平稳性 下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。 10.1.3 n步转移概率矩阵 由n步转移概率组成的矩阵 称为马氏链的n步转移概率矩阵。它是随机矩阵。 此矩阵的每一行元素之和等于1。 这个矩阵具有以下两个性质： 一步转移概率矩阵 的状态 记为P 例10.1 一维随机游动 游动的概率规则 如果Q现在位于点1,2或者3时,则下一时刻都以1/3的概率向左移动一格或以2/3的概率向右移动一格。 如果Q现在位于0这点上, 则下一时刻就以概率1移动到1，当Q到达4点时，它以概率1停留在该点上（0称为反射壁，4称为吸收壁）。 上面这种游动称为带有1个反射壁的随机游动。 状态空间就是I={0,1,2,3,4}。 所以它是一个马氏链, 且是齐次的。 游动的概率规则 一步转移概率矩阵 说明: 如果把点 0 改为吸收壁,4改为反射壁相应链的转移概率矩阵只须把P 中第1行改为(1,0,0,0,0)。 改变游动的概率规则, 就可得到不同方式的随机游动和相应的马氏链。 一步转移概率矩阵 设一个单位时间传输一级,设每一级的传真率为 p, 误码率为 q=1?p。 只传输数字0和1的串联系统 (0?1) 传输系统) 如图: 分析: 例10.2 所以它是一个马氏链, 且是齐次的。 一步转移概率矩阵 一步转移概率矩阵 一、C-K 方程 二、多步转移概率的确定 这就是有名的切普曼－柯尔莫哥洛夫方程。 简称 C ? K 方程 说明 C?K 方程基于下列事实: 这一事件可分解成: 如下图所示: 利用 C?K 方程我们容易确定 n 步转移概率。 得递推关系: 一步转移概率为 例10.3 解 先求出二步转移概率矩阵 于是: 注： n步转移概率矩阵为 对于只有两个状态的马氏链, 一步转移概率矩阵一般可表示为: 10.3 马氏链的有限维分布 向量表示形式 向量表示形式 10.3.1 初始概率与绝对概率 2. 绝对概率与初始概率的关系 0 n 表明绝对分布可由初始分布和n步转移概率矩阵确定。 绝对分布与初始分布的关系可表示为 10.3.2 马氏链的有限维分布律 推论10.2，由定理10.3不难得到 10.4.1 遍历性的概念 10.4.2 (有限链)遍历性的充分条件 定义 则称此链具有遍历性。 10.4.2有限马氏链遍历性的充分条件 研究遍历性问题的中心是要确定在什么样的条件下马氏链才具有遍历性，以及如何求得?j ，这个问题已彻底解决。