信息论与编码第8章限失真信源编码.ppt

* 限失真信源编码 * 一、保真度准则下的信源编码定理 1、失真渐进均分性定理 对于符号序列对 和失真度 ，任意给定ε 0和δ 0，当N 足够大时 第8章 限失真信源编码 推论1 推论2 对于N次扩展信源，允许失真为D，信息率失真函数为R(D)，一定存在信源编码，对任意给定的ε0，只要码率R R(D)，当N足够大时，译码后的平均失真度 如果码率R R(D) ，无论N多大，也找不到任何信源编码，使译码后的平均失真度 2、保真度准则下的信源编码定理 (1) 正定理的证明 由符号 k=1,2, …,n随机产生码长为N的码字 输入为典型序列时，最大似然译码准则与失真典型序列译码准则等价 对N次扩展实验信道的子信道 N足够大时，可认为随机产生的序列为等概率的典型序列，数量为 ，选取其中的2NR个作为许用码，其余为禁用码 Pe为所有非失真典型序列的概率之和 所有 与ai不构成失真典型序列的概率 所有 与所有ai不构成失真典型序列的概率之和 N足够大 (2) 逆定理的证明 由符号 k=1,2, …,n随机产生码长为N的码字 N足够大时，可认为随机产生的序列为等概率的典型序列，数量为 ，选取其中的2NR个作为许用码，其余为禁用码 假设选取足够少的许用码，其数量2NR 2NR(D) 这些许用码cj与ai构成失真典型序列 保真度准则下的信源编码定理又叫香农第三定理，表明了保真度准则下压缩编码的存在性，并明确了信息率失真函数R(D)是信源编码码率的下界，通常也将其称为香农界。 二、连续信源编码 连续信源输出的消息需要在取值上量化才能进行编码 此过程必然有信息失真，连续信源编码属限失真编码 如果量化后采用无失真编码，信息失真源于量化过程 连续信源编码的关键在于量化 脉冲编码调制( PCM, pulse code modulation )是研究最早、使用最广的一种标量量化编码 PCM的原理框图 1、标量量化编码 x 量化 xq 编码 c (1)均匀量化编码 特点——均匀量化间隔 量化原则通常是四舍五入，有零量化值的中平量化 x1 x2 x3 x4 xq1 xq2 xq3 xq4 归一化消息值满足|x| ≤ 1，如取量化数目2M，量化间隔Δ=1/M，记x0=0，±xM= ±1，相应±xi=±iΔ，i=1,2, …,M-1 xqi一般用二进制数表示 注意到正反两方向的对称性，将量化与编码同时考虑，使用定长折叠二进制码——码元安排为：最高位为极性码，当x≥0时，可使极性码取1，反之取0； 其它位为量化码，当|x|的量化数目为M，量化间隔为Δ时，码长 PCM的编码步骤： ①对消息值进行极性判断，确定极性码 ②通过消息绝对值与量化码各位权值组合的逐次比较，确定量化码 ③组合得到均匀量化编码 例1 已知归一化消息值x=10.3/16，设量化间隔Δ=1/8，求均匀量化编码 ①确定极性码c3 ②确定量化码c2c1c0 ③组合得到均匀量化编码 量化值与消息绝对值之间由于四舍五入而产生的量化误差称为量化噪声e 例1的量化噪声 如果定义失真度 量化噪声可以直接反映信息失真程度 根据保真度准则，较好的声音编码要使量化噪声水平达到1/4096；采用均匀量化编码，其码长 (2)非均匀量化编码 特点——非均匀量化间隔 采用压扩技术实现的非均匀量化主要用于声音编码 采用压扩技术实现的非均匀量化编码的原理框图 均匀量化 编码 x f(x) xq c 编码端的两种压缩特性 ①北美和日本等地数字电话采用的μ律特性 当x≥0时函数为正，一般取μ =255 ②欧洲和中国大陆等地数字电话采用的A律特性 当x≥0时函数为正，一般取A =87.6 工程上多用15折线逼近μ律，用13折线逼近A律 * 限失真信源编码