第三章-信源编码定理与信道编码定理.pdfVIP

第三章 信源编码定理 与信道编码定理 通信系统的两个基本问题 问题一：数据压缩的理论极限是什么。 问题二：通信传输速率的理论极限是什么。 通信系统模型 问题一（理论）：如何度量信源产生信息 的速率？信源编码定理。 ·问题二（实际）：如何将信源的输出有效 地进行表示？即信源压缩的具体实现技术。 无失真信源编码定理 离散无记忆信道 离散无记忆信道容量计算 时间离散的无记忆连续信道 信源编码概述 为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 信源编码的主要任务就是减少冗余，提高编码效率。 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的码字序列。 为什么还要引入有失真编码呢？ 感觉无失真编码应该优于有失真编码 信源编码概述 编码器可以看作这样一个系统，它的输入端为原始信源U ，其符 号集为U:{u ,u ,…,u }；而信道所能传输的码符号集为 1 2 q X:{x ,x ,…,x }；编码器的功能是用符号集X 中的元素，将原始信 1 2 r 源的符号u 变换为相应的码字符号W ，(i=1,2,…,q)，所以编码器 i i 输出端的符号集为W:{W ,W ,…,W } 。 1 2 q 码的类型 信源的类型 离散无记忆信源的等长编码 无失真等长编码 中文电报的汉字编码就是一种等长编码。 这里N=4,D=10 ，即每个汉字用4位十进 制数表示。例如，“西安”编码后就成 为4687 16180 。此外，0, 1, 2, ... , 9这 10个数字采用如右边的编码方法。 右边的表格中的码字有什么特点？ 等长编码能实现信源压缩吗？ 序列出现概率的分布情况 A频率在［0.19,0.21 ］的序列的概率和 A频率在［0.19,0.21 ］序列的比例 结论  某些特定的信源序列的出现概率可能高于某 个特定“常见”序列的出现概率；  随着序列长度的增加， 常见序列构成的集合 的总体概率趋于1 。（弱大数定律） 想法－ 渐近无失真编码 • 如果这些“常见”序列的概率之和接近于1， 并且它们的数目相对2L小得多，那么我们就可 以只对这些“常见”序列进行编码。其他序 列不做考虑。 • 随着L 的增加，其它序列几乎不发生。这样， 这种编码方法也就几乎没有失真了。 渐近无失真编码 如何用数学工具来描述“常见”序列 弱典型序列 1.无失真信源编码定理 渐进等同分割性质 定理：如果U ,U ，…是独立离散随机变量,分布服从 1 2 p (u) ，则 等价表述：设离散无记忆稳恒信源输出的一个特定序列 u   u …u 。则任给 和 ，可以找到一个整数L ，使 1 2 L 0 当 L L0 有 弱典型序列的特性 弱典型序列的特性 弱典型序列的特性 典型序列特性的总结 等长信源编码定理 等长信源编码定理的证明 编码效率 1.无失真信源编码定理 【无失真变长编码定理】用r 元符号表对DMS信源U 的L长符号序列进行变长编码，要做到无失真编码， 平均码长必须满足： K L H U