第4章马尔可夫链1-2.pptVIP

注： 从状态是否常返，如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态区分为以下的类型： 证 证 令 从而由归纳法，我们有d=t证毕。 求从状态1出发经n步转移 首次到达各状态的概率。 解 如用（4.16）式计算将会很复杂，我们直接通过状态转移图（4.5）来计算。利用归纳法可得 同理可得 二、常返态的判别及其性质 对于常返态i，为判别它是遍历或零常返，我们不加证明地给出下面定理。 由C-K方程，总有 ------(4.27) ----------(4.28) (2) 仍令 下面先看上节的一个例题 (4.29) 对固定的状态k，记 则由全概率公式 (4.30) 上式两边求和注意?U(k)=0，得 由（4.30）式得 由此知状态0是常返的。 第二章关于马尔可夫过程 定义： 第4章 马尔可夫链 马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类： （1）时间、状态都是离散的马尔可夫过程，称为马尔可夫链。 （2）时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。 （3）时间、状态都连续的马尔可夫过程。 §4.1 马尔可夫链的概念及转移概率 一、马尔可夫键的定义 上式是马尔可夫链的马氏性（或无后效性）的数学表达式。由定义知 可见，马尔可夫链的统计特性完全由条件概率 所决定。 和初始概率 二、转移概率 下面我们只讨论齐次马尔可夫链，通常将“齐次”两字省略。 称为系统状态的一步转移概率矩阵。它具有性质： (2)式中对j求和是对状态空间I的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1。通常称满足上述(1)，(2)性质的矩阵为随机矩阵。 证 (1)利用全概率公式及马尔可夫性，有 (3)在(1)中令l=1，利用矩阵乘法可证。 (4)由(3)，利用归纳法可证。 定理1中(1)式称为切普曼---柯尔莫哥洛夫方程，简称C--K方程。它在马尔可夫链的转移概率的计算中起着重要的作用。(2)式说明n步转移概率完全由一步转移概率决定。(4)式说明齐次马尔可夫链的n步转移概率矩阵是一步转移概率矩阵的n次乘方。 三、马尔可夫链的一些简单例子 例1 无限制随机游动 设在第k步转移中向右移了x步，向左移了y步，且经过k步转移状态从i进入j，则 从而 例2 赌徒输光问题 两赌徒甲、乙进行一系列赌博。赌徒甲有a元，赌徒乙有b元，每赌一局输者给赢者1元，没有和局，直到两人中有一个输光为止，设在每一局中，甲赢的概率为p，输的概率为q=1-p，求甲输光的概率。 由于p+q=1，上式是一差分方程 先讨论r=1，即p=q=1/2的情况，此时有 由此得甲输光的概率为 于是 上面各式相加得 由此得甲输光的概率为 例3 天气预报问题 设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨，今日有雨，明日有雨的概率为0.5；昨日有雨，今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。若星期一、星期二均下雨，求星期四下雨的概率。 解：设昨日、今日连续有雨称为状态０(RR) ，昨日无雨、今日有雨称为状态１(NR)，昨日有雨、今日无雨称为状态2(RN)，昨日、今日无雨称为状态３(NN)，于是天气预报模型可以看着一个四个状态的马尔可夫链，起转移概率为 　　其中R代表有雨，N代表无雨。类似可得所有状态的一步转移概率。其一步转移概率矩阵为 其两步转移概率矩阵为 　　由于星期四下雨意味着过程说处的状态为０或１，因此星期一、星期二连续下雨，星期四下雨的概率为 例3 §4.2 马尔可夫链的状态分类 一、状态分类