《信息论与编码原理》第3章离散信源和熵.ppt

3.4.2 齐次遍历的马尔可夫信源 例题 例题 齐次遍历的马尔可夫信源极限熵的求解步骤 3.5 信源的相关性和剩余度 * * * 《信息论与编码原理》 主讲人： 第3章 离散信源和熵  本章内容 3.１离散信源的分类 3.2 离散信源的N次扩展信源 3.3 离散平稳信源 3.4 马尔可夫信源 3.5 信源的相关性和剩余度 3.1 离散信源的分类 离散信源的分类 按照离散信源输出的是一个消息符号还是消息符号序列，可分为单符号离散信源和多符号离散信源。 按输出符号之间依赖关系分类，多符号离散信源可分为无记忆信源和有记忆信源。 按照信源输出的符号序列的统计特性是否随时间变化，多符号离散信源可分为平稳信源和非平稳信源。 离散信源的N次扩展信源：对信源输出的符号序列进行分组，每N个符号一组，只考虑组内各符号之间的关联性，而假定组与组之间是统计独立的； 马尔可夫信源：只考虑到信源发出的消息符号与前面有限个符号的依赖关系，不考虑与更前面发出符号的依赖关系，即用有限记忆源去近似实际信源。 3.2 离散信源的N次扩展信源 二、N次扩展信源的数学模型 三、离散信源的N次扩展信源的熵 四、平均符号熵和极限熵的定义 3.3 离散平稳信源 3.3.1 离散平稳信源 (m+1)维离散平稳信源 一维离散平稳信源和二维离散平稳信源 3.3.2有限维离散平稳信源的条件熵 1）二维离散平稳信源 2) (m+1)维离散平稳信源 3.3.3 二维离散平稳信源的平均符号熵 平稳离散信源的性质 注意讨论的2个对象：条件熵和平均符号熵 有限维离散平稳信源的极限熵 3.3.5 计算极限熵的处理方法 3.4 马尔可夫信源 3.4.1马尔可夫信源的描述 《信息论与编码原理》 主讲人： * * *