信源编码的基本方法.ppt

(4).率失真函数的物理意义： 如果将符号通过信道传输看作某种变换过程，为了以小于 等于DC 的失真度恢复信源的输出，平均每个信源符号需 要得到的最小信息量。 若将率失真函数看作D的函数，显然有如下的关系 当没有失真时( ): 当失真达到最大时( )： 率失真函数的定义域 参见上页图， ，但并非所有 的取值都有意义。 一般地 使 的最小平均失真度 率失真函数 的主要性质： (1)(定理4.6.3)率失真函数 是D的?型凸函数。 作为D的函数存在最小值。 (2)(定理4.6.4)率失真函数 是D的单调递减函数。 允许的失真越大，所需的互信息量越小。 (3)(定理4.6.5) 是D的连续函数。 示例：已知等概分布的信源 信源的熵为： 采用汉明失真函数 汉明失真测度的失真矩阵为： 示例：若转移概率矩阵为 即有 则平均失真度为: 随机变量 Y 的分布为 因为转移概率矩阵的元素非 0 即 1，因此有 平均互信息量为: 即若允许平均互失真度为 可只发送信源的 前面n个符号，后面的 n个符号全部用 替代。此时表示单位符号所需的比特数由 ? 4.汉明失真与传输差错概率 设信源符号的分布特性为 汉明失真矩阵为 设信道转移矩阵为 由汉明失真矩阵，得平均失真度为 而传输出错的概率 因此有 即失真是由传输出错所致。 4.5 信源编码的基本方法 一.信源编码的基本方法 1.信源编码的目的：提高传输效率 （1）去除信息中的冗余度，使传输的符号尽可能都是独立的，没有多余的成分(如语音、图像信号压缩)； （2）使传输的符号所含的信息最大化。例如，通过编码使符号以等概分布的形式出现，使每个符号可能携带的信息量达到最大； （3）采用不等长编码，让出现概率大的符号用较短的码元序列表示，对概率小的符号用较长的码元序列； (4) 在允许一定失真的条件下，如何实现高效率的编码。 2.离散无记忆信源 (DMS: Discrete Memoryless Source） 离散无记忆信源的输出序列： 各个符号间彼此独立 其中 反之，若输出的各符号间有一定的相关性，则其为一种 有记忆的信源。 有记忆的信源，经过处理后，有可能变为一种无记忆的信 源。如有记忆的信源，经过理想的、完全去除冗余的 压缩编码后产生的输出。 若将信源输出的符号按每J个为一组进行编码，则任意的第m个分组可以表示为 编码输出 其中 为输出的码元集。 接收端的译码输出 待编码码组 编码输出码组(码字) 定义4.5.1 若对信源的每个不同的符号或不同的符号序列，编 码后产生的码字不同的，则称该码为唯一可译码。 若待编码的符号序列的不同组合个数为 码字集中不同的码字个数 唯一可译码的条件 定义4.5.2 编码表示一个信源符号所需的平均信息量的定义为 编码速率 。 码字长度为常数的编码称为等长编码，发之称为不等长编码。 等长编码的编码速率 不等长编码的编码速率 其中 为不等长编码的平均码长。 定义4.5.3 信源的熵 与编码速率 的比值定义为编码效率 要保证编码没有信息丢失，要求 3. 霍夫曼(Huffman)编码 霍夫曼编码是一种异字头不等长编码，其基本思想是： 对出现概率大的符号或符号组用位数较少的码字表示； 对出现概率小的符号或符号组用位数较多的码字表示。 由此可提高编码效率。 霍夫曼编码