第1章离散时间的马尔可夫链解析.doc

第1章 离散时间的马尔可夫链 §1 随机过程的基本概念 定义1是概率空间，是可测空间，是指标集. 若对任何，有，且，则称是上的取值于中的随机过程，在无混淆的情况下简称为随机过程，称为状态空间或相空间，称中的元素为状态，称为时间域. 对每个固定的，称为对应于的轨道或现实，对每个固定的，称为值随机元. 有时也记为 设，是中的一族单调增的子代数（代数流），即 ① ，且是代数； ② . 若，则称是适应的随机过程，或适应于的随机过程. 特别地，若令 是由所生成的代数，则是适应的随机过程. 当时，称为实值随机过程； 当时，称为复值随机过程； 当时，称为维随机过程； 当是可列集（有限集）时，称为可列（有限）随机过程； 当或时，称为连续参数的随机过程； 当或时，称为离散参数的随机过程（随机序列）； 当或时，称为随机场. 随机过程的四种类型： （1）指标集离散，状态空间离散的随机过程； （2）指标集离散，状态空间连续的随机过程； （3）指标集连续，状态空间离散的随机过程； （4）指标集连续，状态空间连续的随机过程. 然而，以上分类是表面的，更深刻的是按随机过程的概率结构而分类. 例如：马尔可夫（Markov）过程、平稳过程、独立增量过程、二阶矩过程、正态过程、泊松（Poisson）过程、生灭过程、分枝过程、更新过程、鞅等. 对于随机过程而言，可以这样设想，有一个作随机游动的质点，以表示在时刻质点的位置，于是描绘了质点所作的随机运动的变化过程，一般把“”形象地说成“在时刻质点处于状态”. 定义2是概率空间上的、以为状态空间的随机过程，（或或直线上的任一区间）.如果，有 则称是可测的. 设是中的一族单调增的子代数. 如果 有 则称关于循序可测. 命题1 设，，是中的一族单调增的子代数. 如果关于循序可测，则是可测的. 定义3 设是随机过程，称 为随机过程的一维分布函数；称 为随机过程的二维分布函数；一般地，称 为随机过程的维分布函数；而称 为随机过程的有限维分布函数族. 随机过程的有限维分布函数族具有下列性质： 1. 对，，及的任意排列，有 （对称性） 2. 对，有 （相容性） 注 若知道了随机过程的有限维分布函数族，便知道了这一随机过程中任意有限个随机变量的联合分布，也就可以完全确定它们之间的相互关系. 可见，随机过程的有限维分布函数族能够完整地描述随机过程的统计特征. 但是在实际问题中，要知道随机过程的有限维分布函数族是不可能的，因此，人们想到了用随机过程的某些数字特征来刻画随机过程. 定义4是随机过程，称 为的均值函数；称 为的方差函数；称 为的协方差函数；称 为的相关函数. 注 若是复值随机过程，则方差函数的定义为 协方差函数的定义为 相关函数的定义为 性质 （1）； （2）； （3）若，则 . §2 马尔可夫链的定义 马尔可夫（Markov）过程的研究始于1906年，是随机过程的一个重要分支，它在近代物理、生物学、管理科学、信息处理、自动控制、金融保险等方面有着许多重要应用. 在本章中，无特别声明我们总是假设： 1. 参数集合； 2. 状态空间或或其子集. 定义是定义在概率空间上的随机过程，状态空间为. 若对于任意的及任意的整数 ，有 则称为马尔可夫链，称为马氏性或无后效性，式两端的条件概率都有意义（以下涉及到条件概率的式子都作类似的假定）. 定理1是马尔可夫链的充要条件是对任意的及任意的，有 §3 转移概率 对于马尔可夫链，描述它概率性质最重要的是它在时刻的一步转移概率. 马尔可夫链是描述某些特定的随机现象的数学模型，说成是在时刻时系统处于状态，把说成已知在时刻时系统处于状态，时系统转移到状态的概率等等. 定义6 设是状态空间为的马尔可夫链， 为系统在时刻时处于状态的条件下， 步转移到状态的步转移概率，简称时刻的步转移概率. 显然，具有下列性质： （1）； （2）. 上述性质说明了，对于任意给定的及，是一个概率分布. 规定： （1）； （2） 若与无关，则称是时齐的或齐次的马尔可夫链. 此时，；一步转移概率记为. 对时齐的马尔可夫链，有 以下恒设马尔可夫链是时齐的，并简称为马尔可夫链. 性质 马尔可夫链的步转移概率具有下列性质 （1）； （2）. 定理2Chapman-Kolmogorov） 设是马尔可夫链的步转移概率，