南京邮电大学随机过程讲稿第四章1.pptVIP

第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 (1)已知开始第一人拿球，经三次传球后又回到 第一人的概率； (2)开始第一人拿球，经三次传球后又回到第一 人的概率； (3)经三次传球后第一人拿球的概率； (4)经三次传球后，又回开始拿球人的概率。 1 3 4 2 又已知系统经n级传输后输出为1,问原字符 也是1的概率是多少? 由线性代数知识,可将P表示成对角阵 利用类似的方法,可得n步转移概率矩阵为 对齐次马尔可夫链,虽然一步转移概率能够完全 决定马尔可夫链的统计规律，但仍有许多理论上和 实际上的问题需要我们作进一步的讨论。 §4.2 马尔可夫链的状态分类 一.状态的分类 是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。 ② ④ ③ ① * * §4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念 2、马氏链的转移概率 称条件概率 3、一步转移概率及矩阵 称为马氏链的一步转移概率矩阵 4.多步转移概率的确定 通常我们还规定： (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 直观解释对照图 用矩阵形式表示为：