第1章随机过程与马尔可夫链.pptVIP

则称随机过程X(t)与Y(t)相互独立 第4节 二维随机过程及其统计特性 第30页，共82页，编辑于2022年，星期五 6)、互相关函数 7)、互协方差函数 二维随机过程的情况 第4节 二维随机过程及其统计特性 第31页，共82页，编辑于2022年，星期五 例：P353 T7 第4节 二维随机过程及其统计特性 第32页，共82页，编辑于2022年，星期五 第4节 二维随机过程及其统计特性 第33页，共82页，编辑于2022年，星期五 作业 P352 T2, 3, 9 例题最好做在另外一个本子上 第34页，共82页，编辑于2022年，星期五 1、马尔可夫过程 1）、马尔可夫性（无后效性，遗忘特性）： 过程在时刻t0所处的状态为已知的情况下，过程在t?t0所处的状态的条件分布与过程在时刻t0之前的状态无关。 第5节 马尔可夫过程及其数学表述 第35页，共82页，编辑于2022年，星期五 2）、马尔可夫过程定义： 设随机过程{X(t),t ? T}的状态空间为I。如果对时间t的任意n个数值t1 ? t2??… ? tn，n?3， ti?T，在条件 X(ti)=xi，i＝1，2，?… n－1下，X(tn)的条件分布函数等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数。即： 第5节 马尔可夫过程及其数学表述 第36页，共82页，编辑于2022年，星期五 第5节 马尔可夫过程及其数学表述 则称之为马尔可夫过程 说明：其中状态空间I可离散可连续，参量空间T可离散可连续。 第37页，共82页，编辑于2022年，星期五 例：p373 T1 第5节 马尔可夫过程及其数学表述 第38页，共82页，编辑于2022年，星期五 第5节 马尔可夫过程及其数学表述 分析： 若第m次取值为i，则第m+1次取值样本空间为{1,2,…i},设取值为j，则有： 第39页，共82页，编辑于2022年，星期五 第5节 马尔可夫过程及其数学表述 思考： 从上面的例子可以看出，用条件概率可以很直观地表示马尔可夫过程，那为什么要用条件分布函数(而不是条件概率)来定义马尔可夫过程呢？ 条件概率只存在于离散情况，而条件分布函数可以总括连续和离散随机过程。 第40页，共82页，编辑于2022年，星期五 1、马尔可夫链的定义 时间和状态都离散的马尔可夫过程称为马尔可夫链。记作：{Xn=X(n),n=0,1, …} 第6节 马尔可夫链的定义及数学表述 第41页，共82页，编辑于2022年，星期五 2、马尔可夫链的表示 表示马氏链在m时刻处于状态ai的条件下，在m＋1时刻转移到状态aj的概率。称为在以m为起始点的1步转移概率。 第6节 马尔可夫链的定义及数学表述 （1）1步转移概率。 马尔可夫链的遗忘特性通常以条件概率来表述。 1）1步转移 第42页，共82页，编辑于2022年，星期五 (2) 1步转移概率矩阵 第6节 马尔可夫链的定义及数学表述 第43页，共82页，编辑于2022年，星期五 (3)状态转移图 第6节 马尔可夫链的定义及数学表述 1 2 3 第44页，共82页，编辑于2022年，星期五 第6节 马尔可夫链的定义及数学表述 设一醉汉Q在如图所示的直线点集I={1,2,3,4,5}上作随机游动，且仅在1秒、2秒等时刻发生游动。游动的规律是：如果Q现在在点i(1<i<5)，则下一秒各以1/3的概率向左或向右移动一格，或以1 /3的概率留在原处；如果Q现在位于1(或5)这点上，则下一时刻就以概率1移动到2(或4)点。分别以三种方式描述该随机事件。 1 2 3 4 5 第45页，共82页，编辑于2022年，星期五 第6节 马尔可夫链的定义及数学表述 1) 1步转移概率表示 第46页，共82页，编辑于2022年，星期五 第6节 马尔可夫链的定义及数学表述 2) 1步转移概率矩阵表示 第47页，共82页，编辑于2022年，星期五 第6节 马尔可夫链的定义及数学表述 3) 状态转移图表示 3 5 4 1 2 第48页，共82页，编辑于2022年，星期五 第6节 马尔可夫链的定义及数学表述 在很多时候，我们需要在知道m时刻随机过程状态的条件下，m+n时刻随机过程在各种不同状态下的概率，我们称之为以m为起始点的n步转移。n步转移情况可以用m为起始点的n步转移概率表示，记做 2）n步转移 同样，以m为起始点的n步转移也可以用以m为起始点的n步转移概率矩阵描述，或者是用状态转移图表示。 第49页，共82页，编辑于2022年，星期五 第6节 马尔可夫链的定义及数学表述 例如在已知今天下雨的条件下，10天之后下雨的概率，称之为以10步转移，可以用今天（m）为起始点的10步转移概率表示。假设相继的两天之间是否下雨存在一定的概率关系，下雨