第十七章马氏链模型技巧.doc

第十七章 马氏链模型 §1 随机过程的概念 一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就是研究随机现象变化过程的概率规律性的。 定义1 设是一族随机变量，是一个实数集合，若对任意实数是一个随机变量，则称为随机过程。 称为参数集合，参数可以看作时间。的每一个可能取值称为随机过程的一个状态。其全体可能取值所构成的集合称为状态空间，记作。当参数集合为非负整数集时，随机过程又称随机序列。本章要介绍的马尔可夫链就是一类特殊的随机序列。 例1 在一条自动生产线上检验产品质量，每次取一个，“废品”记为1，“合格品”记为0。以表示第次检验结果，则是一个随机变量。不断检验，得到一列随机变量，记为。它是一个随机序列，其状态空间。 例2 在个商店联营出租照相机的业务中（顾客从其中一个商店租出，可以到个商店中的任意一个归还），规定一天为一个时间单位，“”表示“第天开始营业时照相机在第个商店”，。则是一个随机序列，其状态空间。 例3 统计某种商品在时刻的库存量，对于不同的，得到一族随机变量，是一个随机过程，状态空间，其中为最大库存量。 我们用一族分布函数来描述随机过程的统计规律。一般地，一个随机过程，对于任意正整数及中