《信息论和编码第二版》第5章.pptVIP

* A B C D E F G H I J · – – · · · – · – · – · · · · · – · – – · · · · · · · · – – – K L M N O P Q R S T – · – · – · · – – – · – – – · – – · – – · – · – · · · · – U V W X Y Z ， . · · – · · · – · – – – · · – – · – – – – · · – – · · – – · – · – · – 1 2 3 4 5 6 7 8 9 0 · – – – – · · – – – · · · – – · · · · – · · · · · – · · · · – – · · · – – – · · – – – – · – – – – – Morse电报字符 * 变长编码定理 用变长编码来达到相当高的编码效率,一般所要求的符号长度L可以比定长编码小得多。 编码效率的下界： * 由 若对例5-2用变长码实现, 要求η＞90%,用二进制,m＝2,log2m=l。 得L= 4 * 例5-3设离散无记忆信源概率空间 信源熵： 若用二元定长编码(0,1)来构造一个即时码: a1 → 0, a2 → 1 平均码长为 编码效率为 输出的信息效率为 * 再对长度为L =2的信源序列进行变长编码,其即时码如表 平均码长为 编码效率为 输出的信息效率 ai p(ai) 即时码 a1 a1 a1 a2 a2 a1 a2 a2 9/16 3/16 3/16 1/16 0 10 110 111 单个符号的平均码长 * 将信源序列的长度增加,L＝3或L=4,对这些信源序列X进行编码,并求出其编码效率为 信息传输率分别为 如果对这一信源采用定长二元码编码,要求编码效率达到96％时,允许译码错误概率δ≤10-5 自信息的方差 所需要的信源序列长度 * 习题 5-1 * 信源编码 第5章 * 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 内容 * 5.1 编码的定义 * 信源编码： 无失真信源编码—第一极限定理 离散信源 限失真信源编码—第三极限定理 连续信源 信道编码 第二极限定理 信源编码 在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以便提高信息传输率 信道编码 在信道受干扰的情况下如何增加信号的抗干扰能力,同时又使得信息传输率最大。 编码 * 编码的定义 信源编码器 码表 信源 信道 信源编码: 将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿 信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。 针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。 X Y * 编码的定义 编码定理证明: 必存在一种编码方法,使代码的平均长度可任意接近但不能低于符号熵; 达到这目标的途径就是使概率与码长匹配。 统计匹配编码： 根据信源的不同概率分布而选用与之匹配的编码,以达到在系统中传信速率最小。 * 编码的定义 信源符号 信源符号 出现概率 码 表 码0 码1 码2 码3 码4 a1 p(a1)=1/2 00 0 0 1 1 a2 p(a2)=1/4 01 11 10 10 01 a3 p(a3)=1/8 10 00 00 100 001 a4 p(a4)=1/8 11 11 01 1000 0001 等长码：码中所有码字的长度都相同 变长码：码中的码字长短不一 非奇异码：信源符号与码字是一一对应的 奇异码：码1 若码集为{0,1},所得码字为二元序列,称为二元码 例如,信源符号X＝{a1,a2,a3,a4},对应不同码字如表 * 编码的定义 唯一可译码： 任意有限长的码元序列,只能被唯一地分割成一个个的码字。 例：{0,10,11}是一种唯一可译码。 任意一串有限长码序列,如100111000,只能被分割成10,0,11,10,0,0。任何其他分割法都会产生一些非定义的码字。 奇异码不是唯一可译码 非奇异码 唯一可译码 — 码3 非唯一可译码 — 码2 * 编码的定义 唯一可译码 非即时码： 如果接收端收到一个完整的码字后不能立即译码,还需等下一个码字开始接收后才能判断是否可以译码 即时码： (非延长码) (异前缀码) 在译码时无需参考后续的码符号就能立即作出判断,译成对应的信源符号。 任意一个码字都不是其它码字的前缀部分 在延长码中,有的码是唯一