《随机过程教案-卢玉贞》第四章 离散参数马氏链.pdfVIP

第四章 马尔可夫链 随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就 是描述一类状态之间具有某种特殊统计联系的随机过程。马尔可夫过程的特点，已知现在 的状态，过程“将来”所处的状态仅与“现在”所处的状态有关、与过去无关。按其状态 和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程， 称为Markov 链；（2 ）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链； （3 ）时间、状态都连续的Markov 过程。 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法、计算机系 M a r k o v 统建模、时间序列分析、排队论、存储模型、更新模型、网络流量分析等领域都有重要 的应用。 应用实例 三家保险公司（A 、B 、C），由于服务态度、产品质量及广告宣传等因素的不同和变化， 两年客户的流动情况和保留情况如下表所示： 表一 各保险公司某产品客户流动情况 2011 年 得到 失去 2012 年 公司 1 月客 自A 自B 自C 于A 于B 于C 1 月客 户 户 A 200 0 35 25 0 20 20 220 B 500 20 0 20 35 0 15 490 C 300 20 15 0 25 20 0 290 注：单位（万人） 假设流通率保持不变，研究 （1）各公司现有客户，1 年后的情况如何？ （2 ）5 年、10 年后，现有客户的流通情况怎样？ （3 ）n 年后现有客户会不会呈现一种相对稳定状态？ 1 马氏链中研究的主要问题 ? ?无周期 ? ? 按周期分类 周期 ? ? ? ?非周期 ? ? 状态分类? 遍历态 ? ? ?正常返 ?按常返分类?常返?零常返 ? ? ? ? ?非常返 ? ? ?互通 ? 状态空间分解 闭集 ? ?状态空间分解定理 ? 转移概率的极限性质、平稳分布 4.1 马尔可夫链的基本概念 一、 Markov 链的定义 1．直线上无限制的随机游动（random walk ） 考虑在直线作随机运动的质点，每次移动一格，向右移动的概率为 ，向左移动的概 p X n 率为q ?1? p ，这种运动称为无限制随机游动，以 表示时刻 质点所处的位置，则 n {X , n ?T} 是一个齐次Mar