随机过程5(1.1-1.2).ppt

第五章 离散时间马尔可夫链;马尔可夫 (1856年6月14日——1922年7月20日）;王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派到天津南开大学数学系任教. 是一位对我国科学和教育事业作出卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术带头人之一。 1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过程理论。 　　当时中国近代数学才刚刚起步，大学也没有概率课程。此时苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定为概率论， 著有《概率论基础及其应用》、《随机过程论》、 《生灭过程与马尔科夫链》等9部数学著作． ;马尔可夫过程的定义 马尔可夫链的转移概率与概率分布 齐次马尔可夫链状态的分类 转移概率的稳定性能; 引例(有限制随机游动问题) 设质点只能在{0，1，2，···，a}中的各点上作随机 游动，移动规则如下：;§1　马尔可夫过程的定义;2. 马尔可夫过程;3.马尔可夫链;特别　对取T={0,1,2,···}的马尔可夫链，记为;二 马尔可夫链的转移概率;特别 当k=1时，;定义 称可数维的矩阵;实际中常会碰到具有时齐性的马氏链; 引例(有限制随机游动问题) 设质点只能在{0，1，2，···，a}中的各点上作随机 游动，移动规则如下：;设Xn表示质点在n时刻所处的位置，则;例１(天气预报问题) 如果明天是否有雨仅与今天的天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则;天气的变化过程还可以用不同的马尔科夫链来描述，假设任意一天的天气与前一天的天气有关，即如果昨天和今天都为晴天，明天为晴天的概率为α，昨天和今天分别为晴天和阴天，明天为晴天的概率为β，昨天和今天分别为阴天和晴天，明天为晴天的概率为γ，如果昨天和今天都为阴天，明天为晴天的概率为δ。如果将阴天和晴天分别记为0,1，则昨天和今天的所有天气情况可以用数对表示为集合S={（1,1），（1,0），（0,1），（0,0）}，由此，将数对看做状态，天气的变化过程可用状态空间为S上的其次马尔科夫链描述，一步转移概率矩阵为： ;练习 天气预报问题，其模型是：今天是否下雨依赖于前三天是否有雨（即一连三天有雨；前面两天有雨，第三天晴天…..),问能否把这一问题归纳为一马尔科夫链，如果可以，问该过程的状态有几个？如果过去一连三天有雨，今天有雨的概率为0.8；过去连续为晴天，而今天有雨的概率为0.2；在其他天气情况，今天的天气和昨天相同的概率为0.6，求这个马儿科夫链的转移概率.;例2 （埃伦菲斯特模型）设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛子中随机的摸出一球，并换入一个相反颜色的球.;例3（群体增长）某种生物群体的每个个体在其生存期内彼此独立地产生后代，假设每个个体都以概率pk产生k个后代，且有;则马氏链的一步转移概率为：;例4（卜里耶模型）设一个坛子里有b个黑球和r个红球，每次随机地从坛子中摸出一个球后再放回去，并加入c个与摸出球同颜色的球。重复以上步骤将摸球进行下去，设Xn表示第n次摸球放回后坛子中的黑球数，试写出其一步转移概率矩阵和状态空间;例5：设 是相互独立同分布的随机变量序列，且;例6 设一个服务站有M 位服务员, 顾客不断来到并请求服 务.假定在Δt 时间内来到一位顾客的概率为λΔt + o(Δt) , 没有顾客来到的概率为1 - λΔt + o(Δt) , 来到两位或两位以上顾客的概率为o(Δt) .来到的顾客, 当有空闲的服务员时, 则立即接受服务.否则排队等待, 直到正在服务的顾客结束服务, 服务员空闲后再为排队的顾客服务.假定每位在时刻t 正在接受服务的顾客在时刻t + Δt 结束服务的概率为μΔt + o(Δt) , 并假定各顾客的来到时刻及其被服务的时间相互独立.令X( t) 表示时刻t 要求服务的顾客数( 包括正在服务的和等待的顾客数) . (1 ) 试说明{ X( t) , t≥0}是马尔可夫过程.;例7 在二元传输中, 依次的n 个中继站从一个站向下一个站传送0 或1 .每个接收站以概率p 正确地接收信号, 而以概率q = 1 - p发生错误.X(0) 表示初始站发出的数字, X(n) 表示经n 次传输后第n 个接收站收到的数字, 则{ X(n) , n≥0}是