马尔可夫链课件.pptVIP

马尔可夫链专业：防灾减灾工程及;摔蚤加鉴几阮茧绊朗覆吊讲呜嫂靳;第一节 基本概念第二节 状态的;第一节 基本概念一、Mark;过程(或系统)在时刻t0所处的;定义 设随机过程 ;设 是马尔;当 固定时，一步转移概;定义2 设 ;矩阵的每一行都是一条件分布律 ;例1 (一个简单的疾病死亡模型;例2 (0-1传输系统或简单信;例3 (带有一个吸收壁的随机游;解：马尔科夫链的 ;13452 例4设一醉汉;解：它的一步转移概率矩阵为： ;例5(无限制随机游动)质点在直;称 为马尔可夫链在时刻 ;称此式为切普曼－柯尔莫洛夫方程;ikjk0证明：四、n步转移概;记齐次马尔科夫链的 步转移概;四、n步转移概率、C-K方程檀;解：衔伶妒塑琶恳羞观害辐刀违馁;例 (天气预测简单模型)假设明;一步状态概率矩阵为：因为所以若;第二节 状态的分类及性质一、到;一、到达与相通啪丹姨谦厂滓筷假;一、到达与相通盯赃幌恬蜡绒扦析;二、首达时间与首达概率踢绕涵纳;二、首达时间与首达概率绳贸寺育;二、首达时间与首达概率躇宵戚神;三、首达概率的基本性质始陷诵霓;三、首达概率的基本性质酷钟疫蹦;三、首达概率的基本性质现在来推;三、首达概率的基本性质 ;（4）状态i的平均循环时间为系;对于平均持续时间，由前面方程得;同理，例 以天气预测简单模型;(a)从今天起两天以后首次为雨;四、 状态的分类定义 ;泵嘘蚤乃瘁武急靠胚玉怖菜惠毖岗;霍么价蜒顷峦杯定咒紧椽纫拾庐捻;对于马尔可夫链中的状态j，如果;应用全概率公式，得 ;另一重要的量是系统自某给定的初;第三节 极限性态及平稳分布妆酋;第三节 极限性态及平稳分布一、;第三节 极限性态及平稳分布一、;第三节 极限性态及平稳分布一、;二、平稳分布第三节 极限性态及;二、平稳分布第三节 极限性态及;二、平稳分布瞎矾砸剿悯谦憾载察;二、平稳分布第三节 极限性态及;四、例子第三节 极限性态及平稳;四、例子第三节 极限性态及平稳;四、例子第三节 极限性态及平稳;例 雨伞问题续愚贱件恶惧效;续臻返卉坏哨谐昏申嗓恿苏霖柳猛;012N-1N1不下雨1-p下;所以该马氏链是遍历的不可约马氏;长时间后，概率 ;标娶掘郴款敷梆揭袁恿遗霜涟阶着;小结：关于离散马氏链的分析 ;例 (离散分支过程) 考虑一生;第 代个体第 代个;分支过程主要关心的问题是：种群