随机第四章1.ppt

又已知系统经n级传输后输出为1,问原字符 也是1的概率是多少? 由线性代数知识,可将P表示成对角阵 利用类似的方法,可得n步转移概率矩阵为 对齐次马尔可夫链,虽然一步专移概率能够完全 决定马尔可夫链的统计规律，但仍有许多理论上和 实际上的问题需要我们作进一步的讨论。 * 定理4.2说明绝对概率也具有类似于n步转移概率的性质 第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 马尔可夫过程 2、马尔可夫性 系统在已知现在所处状态的条件下，它将来所处的状态与过去所处的状态无关。 §4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念 §4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念 参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。 2、马氏链的转移概率 称条件概率 3、一步转移概率及矩阵 称为马氏链的一步转移概率矩阵 4.多步转移概率的确定 通常我们还规定： (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 直观解释对照图 用矩阵形式表示为： 表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。 全概率公式 若有N个互斥事件Bn（n=1,2,…,），它的并集等于整个样本空间，则 5、初始概率与绝对概率 写成向量形式: (2) 绝对概率与初始概率的关系 表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。 （3）马氏链的有限维分布 总结： 1）齐次马氏链多步转移概率可由一步转移概率确定； 2) 绝对概率可由初始概率及n步转移概率确定 3)有限维分布可完全由初始概率及一步转移概率确定。 例 带一个吸收壁的随机游动 赌徒输光问题 解：定义{Xn}为第n次时甲的赌资，其状态空间为： (1)已知开始第一人拿球，经三次传球后又回到 第一人的概率； (2)经三次传球后第一人拿球的概率； (3)经三次传球后，又回开始拿球人的概率。 1 3 4 2 * 定理4.2说明绝对概率也具有类似于n步转移概率的性质