随机过程与马尔可夫过程.pptVIP

* * * 例5：设有6个球(2个红球,4个白球)随机平分放入甲, 乙两个盒中.今每次从两盒中各任取一球并进行交换. 表示开始时甲盒中的红球数,Xn(n0)表示经n次交换 后甲盒中的红球数. (1)求此马氏链的初始分布; (2)求一步转移概率矩阵; (3)计算 ; (4)判断此链是否具有遍历性，若有，求出极限分布。 * * * * * * 课件结束! * * 随机过程 引言 现实世界中的许多现象是随时间的进展而变化与发展的，这些现象通常称为过程。可分为两类： (1)确定性的变化过程：例如，质点的运动过程就是最普通的过程。假设一个质点在直线上运动，它的位置随时间而变化，数学上，质点的位置可表示为时间t的函数x(t)。假定质点是在一个确定的力的作用下运动，则表示运动过程的函数x(t)也是完全确定。 (2)不确定的变化过程：例如，如果质点在一个随机的力（它由各种随机因素所形成）的作用下，那么质点的运动也是随机的，如何描述这样的变化过程，一方面，如果对其变化过程的全过程做一次观察，得到一个位置与时间关系的函数x1(t)，若再次观察，又得到函数x2(t)，每次得到的结果均不同，因而得到一族函数；另一方面，如果在时刻t观察质点的位置x(t)，x(t)不再是一个确定的数而是一个随机变量，这样就对于每个时刻t便得到一个随机变量X(t)，于是我们就得到一族随机变量{X(t),t≥0}，（最初始时刻为t=0），它描述了随机的运动过程。 对于这样的随机现象，用一个或几个随机变量去描述或刻划它就行不通了，而必须有一族随机变量才能刻划它。我们称这种随时间的进展而变化与发展的随机现象为随机过程。 * 随机过程 引言 现实世界中的许多现象是随时间的进展而变化与发展的，这些现象通常称为过程。可分为两类： (1)确定性的变化过程：例如，质点的运动过程就是最普通的过程。假设一个质点在直线上运动，它的位置随时间而变化，数学上，质点的位置可表示为时间t的函数x(t)。假定质点是在一个确定的力的作用下运动，则表示运动过程的函数x(t)也是完全确定。 (2)不确定的变化过程：例如，如果质点在一个随机的力（它由各种随机因素所形成）的作用下，那么质点的运动也是随机的，如何描述这样的变化过程，一方面，如果对其变化过程的全过程做一次观察，得到一个位置与时间关系的函数x1(t)，若再次观察，又得到函数x2(t)，每次得到的结果均不同，因而得到一族函数；另一方面，如果在时刻t观察质点的位置x(t)，x(t)不再是一个确定的数而是一个随机变量，这样就对于每个时刻t便得到一个随机变量X(t)，于是我们就得到一族随机变量{X(t),t≥0}，（最初始时刻为t=0），它描述了随机的运动过程。 对于这样的随机现象，用一个或几个随机变量去描述或刻划它就行不通了，而必须有一族随机变量才能刻划它。我们称这种随时间的进展而变化与发展的随机现象为随机过程。 * 在实际问题中很多随时间变化的现象都具有随机性，这类现象（或过程）就需要随机过程这一数学模型去描述。 * 注释：(1) 从数学的观点来说，随机过程{X(t),t∈T}是定义在Ω×T上的二元函数，因此可以从两个角度去理解, 因而对随机过程的定义有我们如上的两个定义。对于固定的t，X(ω,t)是样本空间Ω上的随机变量；对固定的ω∈Ω，X(ω,t)是定义在T上的普通函数，称为随机过程{X(t),t∈T}的一个样本函数. 它们本质上是一样的，在理论分析往往以随机变量族的描述方式作为出发点，而在实际测量和处理中往往采用样本函数族的描述方式。 (2)通常将随机过程{X(t),t∈T}解释为一个物理系统，X(t)表示系统在时刻t所处的状态，X(t)的所有可能状态所构成的集合称为状态空间，记为I，对于给定的t0∈T，及x∈I，X(t0)=x说成是在时刻t0，系统处于状态x。 (3)从定义2的角度上看，随机过程是有限维随机变量的推广。 * 研究随机现象，主要是研究它的统计规律，我们知道一个随机变量的统计规律由它的分布函数决定，n维随机变量的统计规律由它的联合分布函数决定，而对于随机过程，它本质上是无穷维随机变量，因此必须用全部的有限维联合分布函数来描述他的统计规律。 * 一维分布函数刻划了随机过程在各个个别时刻的统计特性。要描述不同时刻状态之间的统计联系，就需要用多维分布函数，而要描述随机过程的全部统计规律就要用有限维分布族。 在实际中，要知道随机过程的全部有限维分布族是不可能的。因此，人们往往用随机过程的某些统计特征来取代分布函数族。其中常用的是下面介绍的随机过程的数字特征。 * 在实际中，要知道随