无记忆信 源的有失真编码——率失真理论1.pdfVIP

失 真 n 由于信道的干扰，信息在传输过程中也会产生 差错或失真； n对信源无失真压缩的极限是熵，如果再继续压 缩就要失真。 n信宿的灵敏度和分辨力有限，无需要求传输过 程中信息绝对无失真； n 允许信息有某些失真，可以降低信息传输速率， 从而降低通信成本。 结论：失真不可避免，有时甚至必要 有失真信源编码 n 通过压缩所得到的编码序列不能完全恢复原来信源的 信息，是有失真信源编码； n 希望在不大于一定的编码速率的条件下，使平均失真 限制到最小；或者在平均失真不大于某个值的条件下， 使编码速率限制到最小 （限失真信源编码）。 n 从信息论的观点处理数据压缩的学科称为信息率失真 理论，是数据压缩的基本理论。它确定了为满足某一 给定保真度准则恢复信源消息理论上传送每信源符号 所需的平均的二进制数字数。 有失真与无失真编码实例 信源符号 u1 u2 u3 u4 u5 p (u ) 0.25 0.25 0.25 0.15 0.10 i 不等长编码 00 01 10 110 111 等长编码 000 001 010 011 100 允许失真 00 01 10 11 11 H(U) 1.944bit R nlog D 1) 不等长编码：R 2.25bits 2) 等长编码： R 3bit 3) 允许失真编码：R 2bit 失真函数 U V a , a ,..., a  1 2 K   0, i j 失真函数 d d u a ,v a ij  i j      0 , i j    根据具体实际情况决定，可以 d u,v uv 或d u,v uv 2       失真矩阵 若信源变量U有r个符号，接收变量V有s个符号， 则d(u ,v )就有r ×s个,它可以排列成矩阵形式，即： i j d(u ,v ) d(u ,v ) ... d(u ,v ) 1 1 1