14+马尔可夫链+2013介绍.ppt

* 单个随机过程，或者单个随机过程之间的关系 * 由上式还可以看出，若已知起始时刻的概率密度函数和转移概率密度函数，则可求出随机过程的联合概率密度函数，从而完全确定了马尔可夫过程，这是马尔可夫过程又一重要特性。 * 考虑子序列，子集问题； * 注意与离散的比较 6、带有两个吸收壁的随机游走 考虑一个质点在直线段上作随机游走，此随机游走所取得的状态空间为 I = { 0 , 1 , 2 , … , c } 。其中0状态和 c 状态均为吸收态。一旦质点进入 0 状态或 c 状态，则会被吸收，即质点不会再做任何的游走。其余各点与上题同。 （有限赌资的输光问题） 转移概率矩阵 7、艾伦费斯特模型 该模型可以用一个模型来说明。设一个坛中装有c个球，它们或是红色的，或者黑色的。随机地从坛子中取出一个球，并换以另一个颜色的球放回坛中。经过n次摸换，研究坛中的黑球数。 7、艾伦费斯特模型 四、马尔可夫序列 1、马尔可夫序列 基本定义 2、齐次性与平稳性 3、马尔可夫序列的性质 1、基本定义 一个随机变量序列Xn，若对任意的n 2、马尔可夫序列的齐次性平稳性 3、马尔可夫序列性质 马尔可夫序列的子序列也是马尔可夫序列。 马尔可夫序列的逆也是马尔可夫序列 已知现在，过去与未来相互独立 马尔可夫过程—分类 马尔可夫链 时间离散、状态离散 马尔可夫序列 时间离散、状态连续 马尔可夫过程