3.1离散无记忆信源等长编码.pdf

3.1离散无记忆信源等长编码 信源编码基本概念 消息集 码字集 {uL } {}v N 信源输出序列 u L = (u1 ,u2 ,,uL ) ?a1 , a2 ,, aK ? 字母表 A = ? ? ? p1 , p2 ,, pK ? 码字序列 v N = (v1,v2 ,,vN ) 集合 B = {b1,b2 ,,bD } D元码 等长码 不等长码 唯一可译码 信源编码基本概念 信源符号 码表 信源符号 出现概率 码0 码1 码2 码3 码4 a1 p(a1)=1/2 00 0 0 1 1 a2 p(a2)=1/4 01 11 10 10 01 a3 p(a3)=1/8 10 00 00 100 001 a4 p(a4)=1/8 11 11 01 1000 0001 唯一可译码 无失真等长编码 X Y 信源 信源编码器 信道 L长序列 N长码字 L 码表 K D N 码字符号 信源符号Aaaa= { 12,,, K } Bbbb= { 12,, ,D } L N 序列长L,,,,Uaaa= 码字序列长NX,,,,= {} bii b b i {}ii12 iL 12 N D N ≥ K L N log D ≥ L log K D N ≥ K L 实例 英文电报27个符号,K=27,L=1,D=2(二元编码) log 2 K 每个英文电报符号 N ≥ L = log 2 27 ≈ 5 log 2 D 至少要用5位二元符 号编码 实际英文电报符号信源，在考虑了符号出现的概率以 及符号之间的依赖性后，平均每个英文电报符号所提 供的信息量约等于1.4比特，即编码后5个二元符号只 携带约1.4比特的信息量，远小于5比特( 最大熵)，可 见编码后的信息传输效率极低。 无失真等长编码 信源 XY信源编码器 信道 L长序列 N长码字 码表 码字符号 信源符号Aaaa= { 12,,, K } Bbbb= { 12,, ,D } L N 序列长L,,,,Uaaa= 码字序列长NX,,,,= {} bii b b i {}ii12 iL 12 N D N ≥ K L N log D ≥ L log K