马尔可夫链地概念及转移概率.docVIP

实用文档 文案大全 第四章 4.1 马尔可夫链的的概念及转移概率 一、知识回顾 二、马尔可夫链的的定义 三、转移概率 四、马尔可夫链的一些简单例子 五、总结  一、知识回顾 1. 条件概率 定义：设A，B为两个事件，且P(A)0 P 为事件A发生条件下B事件发生的条件概率。 将条件概率公式移项即得到所谓的乘法公式： P 2.全概率公式 设试验E的样本空间为S，A为E的事件，若B1 1). B1 2). B1∪ PA 此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义 A=a11 如果c c c c 那么矩阵C叫做矩阵A和B的乘积，记作C=AB 4.马尔可夫过程的分类 马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类： 时间、状态都是离散的马尔科夫过程，称为马尔可夫链； 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的； 时间、状态都连续的马尔科夫过程。 二、马尔科夫链的定义 定义4.1 设有随机过程{Xn,n∈T}，若对于任意的整数n∈T P{ =P{X 则称{X 式(4.1.1)即为马氏链，他表明在状态X(0)=i0,X(1)=i1 式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知 P{ =P ?P{ =P =P 可见，马尔科夫链的统计特性完全由条件概率 P{ 所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。 现举一例说明上述概念： 例4.1.1 箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。 现引进随机变量序列为{Xn,n=1,2,?},每次取样试验的所有可能结果只有两个，即白球或黑球。若以数a1 X 由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关，而与第n-2次，第n-3次，?，第1次，抽的球的结果无关， 由此可知上述随机变量序列{Xn  三、转移概率 定义4.2 称条件概率 p 为马尔科夫链{Xn,n∈T} 条件概率pijn：随机游动的质点在时刻n处于状态i的条件下，下一步转移到状态 一般地，转移概率pijn不仅与状态i，j有关，而且与时刻n有关。当 定义4.3 若对任意的i,j∈T，马尔科夫链{Xn,n∈T}的转移概率pijn与n 下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。 设P表示一步转移概率pij所组成的矩阵，且状态空间I={1,2,…} P= 称为系统状态的一步转移概率矩阵。它具有性质： (1) p (2) j∈T (2)式中对j求和是对状态空间I的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足上述（1）、（2）性质的矩阵为随机矩阵。 定义4.4 称条件概率 p 为马尔科夫链{X P 为马尔科夫链的n步转移矩阵，其中pijn≥0， 当n=1是，pij(1)= p 定理4.1 设{Xn,n∈T}为马尔科夫链，则对任意整数n≥0，0≤ln和 (1) p (2) p (3) P (4) P 证 (1)利用全概率公式及马尔科夫性，有 p =k∈I =k∈Ipkj (2)在(1)中令l=1,k=k1 p 这是一个递推公式，故可递推得到 p (3)在(1)中令l=1,利用矩阵乘法可证。 (4)由(3)，利用归纳法可证。 定理4.1中(1)式称为切普曼——柯尔莫哥洛夫方程，简称C-K方程。它在马尔科夫链的转移概率的计算中起着重要的作用。(2)式说明n步转移概率完全由一步转移概率决定。(4)式说明齐次马尔科夫链的n步转移概率矩阵是一步转移概率矩阵的n次乘方。 定义4.5 设{X pj=P{ 为{Xn,n∈T}的初始概率和绝对概率，并分别成{pj,j∈I}和{p P 为n时刻的绝对概率向量，而称 P 为初始概率 定理4.2 设{Xn,n∈T}为马尔科夫链，则对任意j∈I和n≥1 （1）pj （2）pj （3）PT （4）PT 证 (1) p =i∈I (2)p =i∈I =i∈I (3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。证毕。 定理4.3 设{Xn,n∈T}为马尔科夫链，则对任意i P 证由全概率公式及马氏性质有 P = = ?P =i∈I P =i∈I 证毕  马尔可夫链的的一些简单例子 马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济管理等领域中有着广泛的应用。 例4.1 无限制随机游动 设质点在数轴上移动