近代信息论 第三章 1.pptVIP

第三章 信源编码定理 1~2 引言 信源 信源编码 信道编码 信道 通信的根本任务 —— 有效、可靠地传输信息。 信源编码 1. 用信道能传输的符号代表信源的消息，使信源的消 息适于传输 （变换） 2. 在不失真或允许一定失真下，用尽可能少的符号来 传递信息 （通信的有效性，数据压缩） 信道编码 ? 增加信号抗干扰能力，同时保持尽可能大的信息传 输率 （通信的可靠性，纠错编码） 主要内容 第一节 Kraft 不等式及单义可译定理 第二节 等长编码定理 ? ? 第一节： Kraft 不等式及单义可译定理 ? ? 信源编码 单义可译性 ? ? 即时码与前缀条件 二进异前缀码的构成 ? ? Kraft 不等式 单义可译定理 信源编码 S : ? s , s , ? , s ? 1 2 q 编码器 X : ? a 1 , a 2 , ? , a r ? W : ? w , w , ? , w ? 1 2 q 码符号 q ? 信源发出符号集 S : 号 X : ? a 1 , a 2 , ? , a r ? 中的符号。 ? ? s , s , ? , s ? ，而信道只能传输输入符 1 2 用 X 集中的符号序列 S : 来代表 w i ? s , s , ? , s ? 1 2 q —— 这一过程就是信源的编码。 信源编码 例 1 ASCII 码 ? S: {A,B,C, …… } ? X: {0,1} ? W: {41,42,43, …… } ? 1100 0001,0100 0010 信源编码 例 2 X: {0,1} ? S: {S 1 , S 2 , S 3 , S 4 } ( 1 ) ? W : {0,11,00,11} —— 奇异码：非一一对应 ( 2 ) ? W : {0,10,00,01} —— 变长码（码字中码符号数不同） ? W ( 3 ) : {00,01,10,11} —— 定长码（等长码） ? W ( 4 ) : {1,10,100,1000} —— 变长码 ? W ( 5 ) : {1,01,001,0001} —— 变长码 ? 问题：是否一一对应就足够？ —— 要求 单义可译 单义可译 (uniquely decodable) ? 定义：任意有限长 N 的信源 S 的符号序列 与任意有限长 N 的码字序列一一对应。 ( 2 ) 引例：对 W 不满足单义可译 01000 可译为： S 4 S 3 S 1 01 00 0 S 1 S 2 S 3 0 10 00 S 1 S 2 S 1 S 1 0 10 0 ? 0 W ( 3 ) {00,01,10,11} 定长，非奇异码，单义可译 即时码和（异）前缀条件 (prefix condition) W W ( 4 ) ( 5 ) {1,10,100,1000} {1,01,001,0001} ? ? ? ? ? ? 都是单义可译 W W ( 4 ) ( 5 ) 译码时，要等下一个码子出现时才能做判断。 —— 非即时码 每个码以 1 为终结，只要收到 1, 则码字结束。 1 起逗点作用 —— 逗点码 时间上，无需后续符号就能立即译码 —— 即时码 即时码和（异）前缀条件 (prefix condition) W : ? a , a i i 1 ? , ? , 是 W 中的任一码字， a i 2 ik 而其它码子 W j : ? a , a j 1 j 2 , ? , a jm ? m ? k ? ? 都不是码 W j 的前缀，则此码为即时 码。 例 {0 ， 10 ， 110 ， 111} 异前缀码是单义可译的一类子码。 构成即时码的充要条件：任何一个码字都不是其它码字的前缀 。 二进异前缀码的构成 (binary prefix code) 画二进码树，然后根据需要，在树上挑合适的码。 0 根节点 要点 10 枝 branch 110 节点 node ? 码字对应的节点不再产生新的枝。 ? 节点的某一枝被用作码字，则其 他由该节点产生的枝也可用作码字。 ? 这样构造的码 —— 异前缀码。 1110 1111 找码不唯一 111 11 1 1111 1110 1101 1100 1011 1010 1001 1000 0111 0110 ? 可选的等长码： 0000~1111 ? 可选逗点码： 1 ， 01 ， 001 ， 0001 ， 0000 ? 可选： 1111 ， 1110 ， 110 ， 10 ， 011 ， 0101 ， 0011 ， 0010 ， 0001 ， 0000 0101 0100 0011 0 00 000 0010 0001 0000 Kraft 不等式 ? 长度为 n 1 , n 2 , ? , n q 的 pref