[工学]05-最佳信源编码.pptVIP

电信学院 汪汉新 最佳信源编码 1. 香农编码 2. 费诺编码 3. 哈夫曼编码 引言 香农编码定理虽然指出了理想编码器的存在性,但是并没有给出实用码的结构及构造方法； 编码理论正是为了解决这一问题而发展起来的科学理论； 编码的目的是为了优化通信系统，使通信系统的性能指标有效性、可靠性、安全性和经济性达到最佳； 按不同的编码目的，编码分为三类：信源编码、信道编码和安全编码（加密编码）。 信源编码：提高通信有效性。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的传输率（码率）。即同样多的信息用较少的信息率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信道编码：提高信息传输的可靠性。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。 加密编码：提高通信系统的安全性。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。 信源编码 信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。 信源编码的分类： 离散信源编码：可做到无失真编码； 连续信源编码：只能做到限失真信源编码； 有些编码原理在通信原理和信号处理等相关课程中已经介绍过。例如： 连续信源编码：脉冲编码调制(PCM)； 预测编码：增量编码、差分脉冲调制(DPCM)、自适应差分脉冲调制(ADPCM)； 变换编码：DCT、Wavelet、 Walsh和Hadamard变换。 信源编码概述 信源的原始信号绝大多数是模拟信号，因此，信源编码的第一个任务是模拟和数字的变换，即：A/D，D/A。 抽样率取决于原始信号的带宽：fc = 2 ? w，w为信号带宽。 抽样点的比特数取决于经编译码后的信号质量要求： SNR ＝ 6 ? L(dB)，L为量化位数 但是，由于传输信道带宽的限制，又由于原始信源的信号具有很强的相关性，则信源编码不是简单的A/D，D/A，而是要进行压缩。为通信传输而进行信源编码，主要就是压缩编码。 信源编码要考虑的因素： 发信源的统计特性。 传输信道引入的损伤，如误码。 受信者的质量要求。 编码理论 信源编码定理：对于给定的失真率D，总可以找到一种信源编码方法，只要信源速率R大于R(D)，就可以在平均失真任意接近D的条件下实现波形重建。 说明1：R(D)称为率失真函数，它是单调非增函数，速率越高，平均失真越小。 说明2：为了保证在一定速率下的失真，必需采用信源编码，因而会引入编码延时。 信道编码定理：如果信源速率R小于信道容量C，总可以找到一种信道编码方法，使得信源信息可以在有噪声信道上进行无差错传输，即：R ? C，无差错传输条件 说明1：信道容量C可根据香农定理得到C ＝ W?log2(1+S/N) 说明2：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。 信息传输定理： 将信源编码定理和信道编码定理综合，就得到信息传输定理。即：为保证无差错传输及失真度，必需满足：C ? R(D) 说明1：在一般数字通信系统中，信源编码和信道编码可以分开考虑。信道编码定理给出无差错的速率上限，信源编码定理给出无失真的速率下限。 说明2：为了实现理想性能，都要付出延时的代价。 信源编码的性能指标 速率：高速率、中速率、低速率 压缩比 质量：客观评价 主观评价 延时：质量和延时的关系 不同业务对延时的要求 复杂性：算法的复杂性及软硬件实现的复杂性 信源编码的实现方法 波形编码：将波形直接变换成数字码流。 特点：比特率较高、解码后质量较高、延时较小。可以分为：时域波形编码，如PCM、ADPCM、?M等；频域波形编码，如：子带编码(SBC)、自适应变换编码(ATC)等。 参数编码：从信源信号的某个域中提取特征参数，并变换成数字码流。 特点：比特率较低、解码后质量较低、延时较大。如：各种声码器。 混合编码：将以上二种方法混合， 特点：以较低的比特率获得较高的质量，延时适中，复杂。如：G723.1，G728，G729，GSM的语音编码，IS-95的语音编码等。 香农编码 设离散无记忆信源 二进制香农码的编码步骤如下(4步)： 将信源符号按概率从大到小的顺序排列 p(x1)≥ p(x2)≥…≥ p(xn) 令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率 确定满足下列不等式的整数ki ，并令ki为第i个码字的长度 －log2 p(xn)≤ki1－ log2 p(xn) 将pa