随机过程第三章马尔科夫链.pptVIP

* * 的渐进性质与平稳分布 * * * 定义 称概率分布{πj,j∈I}为马尔可夫链的平稳分布，若它满足 定理 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 。 推论1：有限状态的不可约非周期马氏链必存在平稳分布。 推论2： 若所有状态是非常返或零常返的，则不存在平稳分布。 * 例题 若马尔可夫链有三状态，其概率转移矩阵为 问此马尔可夫链是否遍历，若遍历求其平稳分布。 例：马尔科夫连的状态空间为{1,2,3,4,5,6,7}，其转移概率矩阵为 任一马尔可夫链的状态空间I，可唯一的分解成有限个或可列个互不相交的 子集D,C1,C2, …之和，使得每一Cn是常返态组成的不可约闭集； D由全体非常返状态组成，自Cn中的状态不能到达D中的状态。 把一步转移概率矩阵行、列按照分解的次序重新排列，不可约闭集在前，D在后，则P矩阵可改写为所谓的标准形： 吸收马尔科夫链 如果只关心非常返状态与各闭集之间的关系，忽略闭集内部的转移，则可把各闭集内部的状态合并成一个状态—吸收态（pii=1），P矩阵可进一步改写为： 例如：马尔科夫链的状态空间为I={1,2,…,10}，其转移概率矩阵为： * 作业：4.1 4.6 4.12 * 根据例题我们可以得到如下结论：P(n)=Pn * 定理4.2说明绝对概率也具有类似于n步转移概率的性质 * 定理4.3说明马尔可夫链的有限维分布完全由它的初始概率和一步转移概率所决定。 因此，只要知道初始概率和一步转移概率，就可以描述马尔可夫链的统计特性。 * * 闭集的意思是自C的内部不能到达C的外部，这意味着一旦质点进入闭集C中，它将永远留在C中运动。 * 第三章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov方程 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 * 马尔可夫过程 将来的状态只与当前状态有关，与过去状态无关 ，即无后效性 * 马尔可夫链定义 定义：设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的 i0,i1, …,in+1∈I，条件概率满足 则称{Xn,n∈T}为马尔可夫链，简称马氏链 时间和状态都离散的马尔可夫过程称为马尔可夫链 * 定义 称条件概率 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。 定义 若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔可夫链是齐次马尔可夫链。我们只讨论齐次马氏链。 * 设P表示一步转移概率所组成的矩阵，则 称为系统状态的一步转移概率矩阵，它具有如下性质： 满足上述两个性质的矩阵称为随机矩阵。 * 例：一维随机游动。设一醉汉Q(或看作一随机游动的 质点)在直线上的点集I={1,2,3,4,5}作随机游动， 游动的概率规则是：如果Q现在位于点i(1i5)， 则下一时刻各以1/3的概率向左或向右移动一格， 或以1/3的概率留在原处；如果Q现在处于1(或5) 这一点上，则下一时刻就以概率1移动到2(或4)这点上， 1和5这两点称为反射壁，这种游动称为带有两个反射壁 的随机游动。 1 3 4 5 2 * 例：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。 设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。 等候室 服务台 系统 随机到达者 离去者 * 例：生灭链 观察某生物群落，以Xn表示在时刻n群体的数目，设为i个数量单位，如在时刻n+1增加到i+1个数量单位的概率为bi，减灭到i-1个数量单位的概率为ai，保持不变的概率为 ri=1- ai - bi ，则 {Xn，n=0}为齐次马尔科夫链，其转移概率为 例：仓储系统 维修点有一仓库，存储某配件以备维修时使用，该配件每周的消耗量为独立同分布的随机变量，其概率分布为： 每周要对该配件进行补充，用Xn表示该仓库在第n周开始未补充配件时的配件个数，补充的原则是如果库存不少于s件，则不补充；如果少于s件，则补充到S件。则随机过程{Xn，n=0,1,…}是一个马尔科夫链。 * 定义 称条件概率 为马尔可夫链{Xn,n∈T}的n步转移概率，并称 为马尔可夫链的n步转移矩阵。规定 例题 设马尔可夫链{Xn,n∈T}有状态