近代信息论–第三章–1.pptVIP

第三章 信源编码定理 1~2 引言 主要内容 第一节 Kraft不等式及单义可译定理 第二节 等长编码定理 第一节：Kraft不等式及单义可译定理 信源编码 单义可译性 即时码与前缀条件 二进异前缀码的构成 Kraft不等式 单义可译定理 信源编码 信源发出符号集 ，而信道只能传输输入符号 中的符号。 用X集中的符号序列 来代表 ——这一过程就是信源的编码。 信源编码 ASCII码 S: {A,B,C,……} X: {0,1} W: {41,42,43,……} 1100 0001,0100 0010 X: {0,1} S: {S1, S2, S3, S4} : {0,11,00,11}——奇异码：非一一对应 : {0,10,00,01}——变长码（码字中码符号数不同） : {00,01,10,11} ——定长码（等长码） : {1,10,100,1000}——变长码 : {1,01,001,0001} ——变长码 单义可译(uniquely decodable) 定义：任意有限长N的信源S的符号序列与任意有限长N的码字序列一一对应。 引例：对 不满足单义可译 01000 可译为：S4 S3 S1 01 00 0 S1S2S3 0 10 00 S1S2S1S1 0 10 0 0 即时码和（异）前缀条件(prefix condition) 译码时，要等下一个码子出现时才能做判断。 ——非即时码 即时码和（异）前缀条件(prefix condition) 构成即时码的充要条件：任何一个码字都不是其它码字的前缀。 二进异前缀码的构成(binary prefix code) 画二进码树，然后根据需要，在树上挑合适的码。 1111 1110 1101 1100 1011 1010 1001 1000 0111 0110 0101 0100 0011 0010 0001 0000 Kraft不等式 定理： Kraft不等式——表明 Prefix code 满足Kraft不等式，反之，若有一组整数 满足Kraft不等式，则存在相应码长的prefix code。 满足Kraft 不等式的prefix code 不唯一。 满足Kraft不等式的码也不一定是prefix code, Kraft不等式只是说明存在prefix code。 单义可译定理 定理：单义可译定理必须满足Kraft不等式。 单义可译定理证明 小结： 第二节：等长编码定理 等长编码性质： 等长非奇异码是单义可译的。（通过等长截取） 对于信源 等长编码，必须满足 对于任意S的N次扩展信源进行编码，则有: 等长编码定理 证明思路： 设码长N,样本空间=所有长为N的源符号序列; 划分样本空间—— 空间1：概率大； 空间2：序列出现的概率小。 只对空间1编码；空间2不编码，有错误Pe 可证明N趋近无穷，空间2的概率趋近0，从而Pe趋近0。 等长编码的效率 编码速率——定义编码器的特性 定义：信源S,对长为N符号的序列S1S2…SN编码成为l的码，X=(X1X2…Xl),若码字总数M，则编码效率为—— 等长编码的效率 编码效率 例： （等长编码的效率很低） * * 信源 信源编码 信道编码 信道 通信的根本任务——有效、可靠地传输信息。 信源编码 用信道能传输的符号代表信源的消息，使信源的消息适于传输（变换） 在不失真或允许一定失真下，用尽可能少的符号来传递信息（通信的有效性，数据压缩） 信道编码 增加信号抗干扰能力，同时保持尽可能大的信息传输率（通信的可靠性，纠错编码） 编码器 码符号 例1 信源编码 例2 问题：是否一一对应就足够？——要求单义可译 {00,01,10,11} 定长，非奇异码，单义可译 {1,10,100,1000} {1,01,001,0001} 都是单义可译 每个码以1为终结，只要收到1,则码字结束。 1起逗点作用——逗点码 时间上，无需后续符号就能立即译码 ——即时码 例 {0，10，110，111} 异前缀码是单义可译的一类子码。 0 10 110 1110 1111 根节点 枝 branch 节点node 要点 码字对应的节点不再产生新的枝。 节点的某一枝被用作码字，则其他由该节点产生的枝也可用作码字。 这样构造的码——异前缀码。 找码不唯一 可选的等长码： 0000~1111 可选逗点码： 1，01，001，0001，0000 可选： 1111，111