第2章马尔可夫链.pptVIP

CHAPTER 2 马尔可夫链 第一节 基本概念 一、马尔可夫链的定义及例子 1、定义 随机过程 称为马尔可夫链，若它只 取有限或可列个值（称为过程的状态，记为0，1，2，…）， 并且，对任意 及状态 ，有 2、分类 按马尔可夫过程参数空间和状态空间的不同可分为 定义 称 为n时刻的一步转移概率。若 即pij与n无关，则称{Xn,n≥0}为齐次马尔可夫链。记P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵. 3、转移概率 我们来看马尔可夫链的分布 可见，马尔可夫链的分布由其初始分布 和其 一步转移概率完全决定。 4、马尔可夫链的例子 例1 独立随机变量和的序列 设 {Yn,n≥1}为独立同分布随机变量序列，且Yn取值为非负整数，其概率分布为P{Yn=i}=ai，i=0,1,2, …令X0=0,Xn=Y1+…+ Yn ，则易证{Xn,n≥0}是一马尔可夫链,且 显然{Yn,n≥1}也是一马尔可夫链。 例2 M/G/1排队系统 若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马尔可夫性。 Xn-----第n个顾客走后剩下的顾客