随机过程课件(第一部分).ppt

谢谢！ 第三讲 Markov 过程 1906年，俄国数学家 Markov 对这一过程进行了开创性研究， Markov过程因此而得名。 理论完善和发展：Kolmogorov,Fellor,Doob等数学家 （1837年，法国著名数学家Poisson从二项分布出发，通过极限过程首次推导出理论和应用上都很重要的Poisson分布。） 粗略而言， Markov 特性就是指过程的“未来状态”与“过去历史”无关。（但跟“现状”可能有关系） 第三讲 Markov 过程 Markov过程的分类： 一般，依据过程的“参数空间”和“状态空间”特性进行分类。 “参数空间”：连续时间、离散时间 “状态空间”：连续状态、离散状态（有限状态） 离散时间Markov链，连续时间Markov链， 有限状态Markov链，等等 连续时间+连续状态： Markov 过程 本课程主要研究Markov链，特别是“有限状态离散时间Markov链”。 第三讲 Markov 过程 § 3.1 离散Markov 链的定义 考虑随机过程{Xn , n=0,1,2,……} n 代表离散时间， Xn 取值的状态空间为“有限集”或“可列集” 。 定义3.1 如果对任何一列状态 随机过程{Xn , n=0,1,2,……}满足Markov性质 则称过程{Xn , n=0,1,2,……}为离散时间Markov 链。（简称“Markov 链”） 第三讲 Markov 过程 定义3.2 设过程{Xn , n=0,1,2,……}为一离散时间Markov 链。给定在状态 i 时，处于状态 j 的条件概率， 称作Markov 链的一步转移概率，记作： 当这一概率与时刻 n 无关时， 称该Markov 链有平稳转移概率，并记作： 。 本课程将主要讨论有平稳转移概率的Markov 链。 显然： 第三讲 Markov 过程 通常把 排成一个方阵。记作 P . 该方阵称作Markov 链的转移概率矩阵。 一个Markov 链可由它的初始状态（或初始状态的概率分布）和转移概率矩阵所完全确定。 第三讲 Markov 过程 记： 则： 第三讲 Markov 过程 n 步转移概率： 以n 步转移概率 作为矩阵元素的矩阵称为Markov 链的n 步转移概率矩阵。记作： 定理3.1 Markov 链的n 步转移概率矩阵满足： 第三讲 Markov 过程 证明： 第三讲 Markov 过程 写成矩阵形式： 更一般情形，对于任何 写成元素形式，得到著名的Chapman-Kolmogorov方程： 第三讲 Markov 过程 例子： 赌博 基因遗传 退火/模拟退火 复杂性科学与智能计算 （2） 报告人：陈贤富 中国科学技术大学电子科学与技术系 E_mail: xfchen@ Tel: 3602173(o) 3661273(H) 攻城不怕坚攻书莫畏难科学有险阻苦战能过关----叶剑英元帅 1977年安徽高考作文题： “从科学有险阻苦战能过关谈起” 往哪儿谈？ 演化性==〉非线性==〉复杂性==〉创造性 模式定理==〉混沌现象==〉涌现机制==〉突生演化==〉创新系统模型 报告内容 1. “复杂性”的根源 2. 3. 积木块假设与混沌现象 4. 复杂系统与复杂性（简介） 5. 突生演化==创新过程 6. 创新: 丰富联想 + 随机碰撞 （个人观点） 1. Holland的生物进化模拟与复杂自适应系统（1） 科学技术发展的源泉----路甬祥院长 1. 生产、生活 2. 模拟自然 1960年前后， Holland企图运用计算机模拟生物的遗传演化过程 没料到： 遗传模拟==〉优化算法 1975年， Holland出版名著“自然与人工系统的自适应” 遗传算法的基本思想：达尔文进化论+门德尔遗传学说 遗传算法的基本构架：选择+交叉+变异 遗传算法的基本理论： Holland模式定理 1. Holland的生物进化模拟与复杂自适应系统（2） 再次出乎所料：精心模拟达尔文进化论的遗传算法实际