马尔可夫链的概念及转移概率.docxVIP

第四章4.1 马尔可夫链的的概念及转移概率一、知识回顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结一、知识回顾1. 条件概率定义：设A，B为两个事件，且，称为事件A发生条件下B事件发生的条件概率。将条件概率公式移项即得到所谓的乘法公式：2.全概率公式设试验E的样本空间为S，A为E的事件，若为S的一个完备事件组，既满足条件：1)两两互不相容，即2).，且有，则 此式称为全概率公式。 3.矩阵乘法矩阵乘法的定义，如果那么矩阵C叫做矩阵A和B的乘积，记作4.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：时间、状态都是离散的马尔科夫过程，称为马尔可夫链；时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；时间、状态都连续的马尔科夫过程。二、马尔科夫链的定义定义4.1 设有随机过程，若对于任意的整数和任意的，条件概率都满足 (4.1.1)则称为马尔科夫链，简称马氏链。 式(4.1.1)即为马氏链，他表明在状态已知的条件下，的条件概率与无关，而仅与所处的状态有关。式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知 = ==可见，马尔科夫链的统计特性完全由条件概率所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。现举一例说明上述概念： 例4.1.1 箱中装有c个白球和d个黑球，每次从箱子