信息论与编码-复习(第二章).pptVIP

第二章 信源及信源熵 第一节 信源的描述和分类 2.1 信源的描述和分类 2.2 离散信源熵和互信息 联合信息量： 2.2.2 离散信源熵 表示在给定Y条件下，X的不确定度 2.2.3 互信息 * 第二节 离散信源熵和互信息 第三节 离散序列信源的熵 第四节 连续信源的熵和互信息 第五节 冗余度 信源概述： 信源输出消息，消息以符号形式出现： 符号确定的且已知时，消息不包含信息 符号的出现是随机的，无法预先确定时，消息包含信息 通过消息来研究信源，主要研究信源的可能的输出，以及输出各种可能消息的不确定性。 ◆按照信源发出的消息在时间上和幅度上的分布情况： 连续信源——发出在时间或幅度上是连续分布的连续消息的 信源，如语言、图像、图形 离散信源——发出在时间和幅度上都是离散分布的离散消息 的信源，如文字、阿拉伯数字、电报符号等 信源分类： 随机波形信源——发出在时间和幅度上都是连续分布的消息 的信源 发出单个符号的信源——信源输出消息的都单个符号组成 用随机变量X 描述 ◆按照信源发出的消息的的组成符号个数： 发出符号序列的信源——信源输出消息的由一系列符号（两 个或以上符号）组成，用随机矢量 表示： 注：信源的概率空间能表征信源的统计特性，是信源固有的， 也称为信源空间。 若信源给定，则其相应的概率空间就已给定； 若信源的概率空间给定，就表示相应的信源给定 离散型： 概率空间： 无记忆信源 有记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 ◆按照信源发出的消息符号之间的依赖关系： 信源 单符号信源 X： 符号xi 的自信息量定义为： 2.2.1 自信息量 发出符号序列的信源L=2时， ，概率空间为： 条件自信息量： 给定 yj , 条件下，符号 xi 出现时收信者获得的信息量 两个符号xi，yj同时出现的自信息量： 平均自信息量：平均每个符号所提供的信息量 信源熵：信源的平均不确定度，表征的总体特性，信源X的 熵记为： 条件熵：H(Y|X) 联合熵：H(Y，X) 表示X和Y同时发生的不确定度。 H(X)、H(Y|X)、H(X,Y)之间的关系： 香农最大熵定理： 离散无记忆信源输出M个不同的信息符号，当且仅当各个符号出现的概率相等时（即pi=1/M），熵最大。 平均互信息量： 单个符号之间的互信息量： H（X）——符号集合X的熵或不确定度； H（X／Y）——接收到Y时对X的平均不确定度。 疑义度 H（Y）——接收符号Y所需要的平均信息量 H（Y／X）——发出符号X为已知时需要确定接收符号Y所 需要的平均信息量。 噪声熵、散布度 * * * * *