markov链第一讲.pptVIP

本文观看结束！！！ * * * * * * * * * * * * * * * * * 3．绝对概率公式 定理1 绝对概率由初始分布和n维转移概率完全确定 即有 证 注 若对定态分布，则 4．切普曼---柯尔莫哥洛夫方程 定理2 则 证 注 （1）用一步转移概率表示多步转移概率 注 I 1，2，…，N 由矩阵的乘法规则，得 表示：在时刻n，各状态的概率等于其初始状态的概率与n步转移概率矩阵之积。 若链是齐次的，则有 例4 甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是 ，（ ）。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不记分。当两人中有一人获得2分结束比赛。以 表示比赛至第n局时甲获得的分数。 （1）写出状态空间； （3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？ 解 （1） 记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为 一步转移概率矩阵 （2）二步转移概率矩阵 （3） 从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为 谢 谢 欣 赏！ * 在前面章节的学习中，我们重新复习并巩固了一些概率和数理统计方面的补充知识,以便为后续课程打下基础.同时我们学习了随机过程的概念和随机过程的描述方法,并且简要的介绍了几类重要随机过程的定义.从这节课开始,我们开始全面深入的学习并研究一些典型的重要的随机过程,如Markov过程，泊松过程，平稳过程等，学习他们的概念,原理和应用. * 本节课我们主要学习马尔可夫链的定义和相关性质。Markov链是苏联数学家markov在1907年提出的。Markov链具有广泛的应用领域。包括对以下四个方面的讲解。首先给大家介绍一下什么是马尔可夫链，在给定定义的基础上，学习转移概率、转移矩阵、齐次markov链、初始分布和绝对分布的相关概念。然后介绍一种形式上最简单的markov链——随机游动过程，最后用本节课所学的概念和性质，即通过建立markov数学模型解决一个实际中的问题，即赌徒输光问题。 * 等式左边指在n+1时刻所取状态的概率分布，应该由过去所有状态所决定，条件是指在 N+1时刻之前所取的状态作为条件来决定系统在时刻n+1的状态分布概率； 右边指在n时刻系统所取状态的条件下，n+1时刻所取状态的概率分布 发现决定的随机事件是同一个随机事件，只是条件不同。 发现有些条件是多余的，即n-1时刻，n-2时刻，一直到0时刻。都对n+1时刻的状态分布没有影响。 即已知过去X n-1 in-1,x n-2 in-2,…x 0 i0及现在Xn in的条件下，过程在将来时刻n+1所处状态的统计特征仅仅依赖于现在时刻n的状态而去过去时刻状态无关。 * 现实生活中有很多种这样的随机过程如种族灭绝问题，人口问题，经济增长问题，因而Markov在很多领域都得到广泛的应用，如生物学、数字计算方面，经济预测与管理，信号分析等等领域。 * 一步转移概率表示的是在现在状态Xn i经过一步转移到状态j的概率。 * * * * * * * * * 下面介绍一下几种常用的随机游动，有简单随机游动，就是刚才例1的例子，它是指在直线上作随机运动的质点，在意义一时刻i，下一步质点只能向前或后移动一个单位，或者停留在远处。研究随机过程的学者都对随机游动的研究有很大的兴趣，这就像是在概率论中人们热衷于讨论从罐子里摸球的模型一样。 * * * * * * * 第三章 马尔可夫过程 第一节 马尔可夫链的定义及其性质 第二节 马尔可夫链的状态分类 第三节 平稳分布与遍历性 第四节 马尔可夫链的应用 第五节 时间连续的马尔可夫链 马尔可夫链的定义 相关定义（转移概率、转移矩阵、齐次马氏链、初始分布、绝对分布） 随机游动过程 赌徒输光问题 第一节 马尔可夫链的定义及其性质 1．马尔可夫链（Markov） Markov性 分析: 而与以前的状态 有限马氏链 状态空间是有限集I 0,1,2,…，k 直观含义: 将n看作现在时刻，那么n-1,n-2,…0就是过去时刻，而n+1就是将来时刻。 那么Markov性表示的就是指在已知“现在”和“过去”的条件下，“将来”与“过去”是无关，也就是独立的。而只和“现在”有关。 2．转移概率 马氏链在时刻n处于状态 i 的条件下，到时刻n+1转移到状态 j 的条件概率 即 称为在时刻n的一步转移概率， 同理，马氏链在时刻n处于状态 i 的条件下，到时刻n+k转移到状态 j 的条件概率 称为在时刻n的k步转移概率， 注: 由于概率是非负的，且过程从一状态出发，经过k步转移后，必到达状态空间中的某个状态 转移概率满足 3．转移矩阵 称