北邮通原第2讲.pdfVIP

第二讲. 信源编码定理与无失真 信源编码 信息与通信工程学院 无线信号处理与网络实验室 彭岳星 yxpeng@bupt.edu.cn 6228 2245 H (S ) H (X ) I (X;Y ) max H (S ) H (S ) 信道容量 f 1 :P (S S |Y ;f ) 1 S H 0 (S ) X L H (X |Y ) 1 1 H (X | Y ) I ( X;Y ) H (Y ) I ( X;Y )  熵的性质  非负性  信息度量  最大熵  离散—均匀分布  自信息，条件自信息，联合 自信息  连续—正态分布  事件的信息度量  链式法则  熵，条件熵，联合熵 H （X X X )  n H (X ) 1 2 n i 1 i  事件集合的信息度量  Shannon不等式：熵的不增原理  互信息 H (Y | X ) H (Y )  两事件集合的共同信息度量  联合熵不大于各信息熵之和 信源编码  功能  压缩信源冗余度，提高传输效率。  目标  编码序列要求的信息速率尽可能小  以尽可能小的错误概率恢复原序列：正确译码  类型  无失真编码 vs. 有失真编码  Huffman编码  自适应Huffman码  香农-凡诺码  游程编码  预测编码  正交编码  。。。  等长编码 vs. 不等长编码 编码分类 码 奇异码 非奇异码 惟一可译码 非惟一可译码 变长码 等长码 即时码 延长码 奇异码：从信源消息到码字的影射不是一一对应的，奇异码不具备惟一可译性。 非奇异码：从信源消息到码字的影射是一一对应的，每一个不同的信源消息都 用不同的的码字对其编码。 即时码：若码中任一码字都不是另一码字的字头，称该码为无前缀码，即时码 是惟一可译码。不能即时译码的码字，称为非即时码，也称延长码。 例：编码分类 码1：奇异码 码2 ：非奇异码，非惟一可译码 2次扩展码是奇异的 码3 ：惟一可译码，延长码；接收到一个完整的码字后还不能立即译码，还需 等下一个码字发出后才能判断是否可译。（出现1