6无失真信源编码new.ppt

第四章无失真信源编码 1 冗余度的概念； 2 数据压缩的概念 3 数据压缩的基本途径 4 编码器 5 等长码及等长信源编码定理 6 变长码及变长信源编码定理 7 霍夫曼码和其他编码方法 信息论面对通信系统回答了以下两个问题： 在不失真或者允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以提高信息传输率 ----------------------信源编码 在信道受干扰的情况下，如何增加信道的抗干扰能力，同时使信息传输率最大 ----------------------信道编码 冗余度的概念 冗余度的概念 冗余度的概念 冗余度的概念 冗余度的概念 冗余度的概念 冗余度 计算机文件表现为字符集合或者是二进制集合，当然二者最终存储形式都是“0”、“1”代码。有一类逻辑压缩方法，就是从分析数据入手，看那些数据可以省去，又如何以最少的符号来代替必不可少的数据。这实际上只是一种由数据自身特点及设计者技巧来决定的压缩表示法。本节讨论的是减少计算机文件内部冗余度的办法的统计编码方法。 文件的冗余类型 ⑴ 字符分布 ⑵ 字符重复 ⑶ 位置冗余 ⑷高使用模式 4.2 数据压缩的概念 信源编码：主要解决有效性问题。通过对信源的压缩、扰乱、加密等一系列处理，力求用最少的数码传递最大的信息量，使信号更适宜传输。 信道编码：主要解决可靠性问题。即尽量使处理过的信号在传输过程中不出错或少出错，即使出了出了错也要能自动检错和尽量纠错。 因此，从信息论的角度看，信源编码的一个最主要的目的，就是要解决数据的压缩的问题，它构成了数据压缩的理论基础。 数据压缩，就是以最少的数码表示信源所发出的信号，减少容纳给定消息集合或数据采样集合的信号空间。 数据压缩的概念 所谓信号空间亦即被压缩的对象是指： 物理空间：如存储器、磁盘、磁带、光盘等数据存储介质； 时间区间：如传递给定信号所需要的时间； 电磁频谱区域：如为传递给定消息所要求的带宽。 数据压缩的概念 解决方法 减小数据存储空间； 提高传输速度——时域压缩； 提高频带利用率（在通信干线上开通更多的并行业务（电视、传真、电话、可视图文等）。 数据压缩技术分类 可逆压缩; 不可逆压缩 可逆压缩 可逆压缩： 亦称无失真、无差错编码(Error Free Coding)或（Noiseless Coding），不同专业的文献作者还采用了另外些术语，如冗余度压缩（Redundancy Reduction）,熵编码（Entropy Coding）、数据紧缩(Data Compaction)等等。 理论依据： 香农在创立信息论时，提出把数据看作是信息与冗余度的结合。 可逆压缩 【例4-1】在一个数据采集系统，如信号在一段长时间内不变，则许多连续采样值是重复不变的。 显而易见的方法就是计算两个不同采样值间的重复采样数目,然后将变化的采样值和重复数目一起发送,即压缩又无失真(compression） 【例4-2】12位A/D转换器采样数据。为了便于处理，常用一个2个8 位的寄存器来存一个样值，这就使每一样值额外增加了4位冗余度. 若改用6个字（48bit）存4个数据，即可消除冗余度（Compaction） 不可逆压缩 不可逆压缩 ： 有失真编码（Lossy　Coding），亦称熵压缩（Entropy Compressing） 【例4-3】为了简单地实现熵编码，我们在监督采样时设置某个门限；只有当采样值过该门限时才传数据。——丢失了信息。 数据压缩的类比 【例4-4】设想我们将菜叶（数据）倒入一个铁桶（存储器）的情形，为了使铁桶装得尽可能多的茶叶。 有以下几种可行的途径： 将茶叶罐颠一颠、摇一摇，使茶叶排列更紧密，挤掉外在的一些外在的“冗余度（ Compaction）”。无失真压缩 将茶叶烤干，去除茶叶的水分，减小自身体积——消除“内在的冗余度”（compression）。无失真压缩 将干菜叶压成末，此时装的最多（压缩最大）， 但“ 叶”已变“粉”，不可逆压缩。茶叶已无法复原。 有失真信源编码。 由此我们已建立了一个初步的概念，即： 有冗余度就可以压缩（罐中有空气，茶叶中有水分） 压缩只能在一定限度内可逆（菜叶倒出来仍然完整） 超过此限度（信息熵）必然带来失真（茶叶会破碎） 允许的失真越大，压缩比也可以越大（茶叶压得余额碎，罐可装得越多） 3 数据压缩的基本途径 ⑴ 基本途径之一——概率匹配 ⑵ 基本途径之二——对独立分量进行编码 ⑶ 基本途径之三——利用条件概率 基本途径之一——概率匹配 基本途径之一——概率匹配 基本途径之一——概率匹配 基本途径