马尔可夫过程的发展和应用.pdfVIP

H arbin I nstit ute of Technology 课程设计 （论文 ） 课程名称： 应用随机过程 设计题目： 马尔可夫过程的发展与应用 院 系： 电子信息与工程学院 班 级： 通信一班 设 计 者： 学 号： 指导教师： 田波平 设计时间： 2009/12/17 马尔可夫链 ( 过程 ) 的发展与应用 1. 随机过程发展简述 在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型： 从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化 学反应动力学到电话通讯理论、 从谣言的传播到传染病的流行、 从市场预测到密码破译， 随机过程理论及其应用几乎无所不在。 一些特殊的随机过程早已引起注意，例如 1907 年前后， Α. Α.马尔可夫研究过一列有 特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程） ；又如 1923 年 N.维 纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程） ，这种过程至今 仍是重要的研究对象。 虽然如此， 随机过程一般理论的研究通常认为开始于 30 年代。1931 年， Α. Η.柯尔莫哥洛夫发表了《概率论的解析方法》 ；三年后， Α. Я.辛钦发表了《平稳过 程的相关理论》 。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍后， P. 莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。 1953 年， J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。 1951 年伊藤清建立了关于布朗运动的随机微分方程的理论 (见随机积分 ) ，为研究马尔可夫过程 开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流 形上的随机微分方程的理论，正方兴未艾。 60 年代，法国学派基于马尔可夫过程和位势 理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定 理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、随机 微分方程等方面也做出了较好的工作。 2. 马尔可夫过程发展 2.1 马尔可夫过程简介 马尔科夫过程 (MarKov Process) 是一个典型的随机过程。设 X(t) 是一随机过程，当过 程在时刻 t0 所处的状态为已知时，时刻 t(tt0) 所处的状态与过程在 t0 时刻之前的状态无 关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的 时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫 过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵 控制。 2.2 马尔可夫过程的发展 20 世纪 50 年代以前， 研究马尔可夫过程的主要工具是微分方程和半群理论 （即分析 方法）；1936 年前后就开始探讨马尔可夫过程的轨道性质， 直到把微分方程和半群理论的 分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并 形成了对轨道分析必不可少的强马尔可夫性概念。 1942 年，伊藤清用他创立的随机积分 和随机微分方程理论来研究一类特殊而重要的马尔可夫过程