复旦周小的林信息论5.信源编码.ppt

* * 七个符号，x1?x7。字符出现概率为0.35,0.30…..0.005。他们按照图的序列，由大概率到小概率排列。一种编码方法如下：各节点的符号如图。X1?0.35? “00”；x2?0.30? “01”，……,x7?0.005? “11111”。 * * 编码后的码字和概率及自信息关系见表： 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 例 设有离散无记忆信源 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 信源符号ai 概率p(ai) 码字Wi1 码长Ki1 码字Wi2 码长K’i2 a1 0.4 1 1 00 2 a2 0.2 01 2 10 2 a3 0.2 000 3 11 2 a4 0.1 0010 4 010 3 a5 0.1 0011 4 011 3 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 码元/符号 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.2 无失真信源编码 哈夫曼码是用概率匹配方法进行信源编码。 哈夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码； 缩减信源的最后二个码字总是最后一位不同，从而保证了哈夫曼码是即时码。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.3 限失真信源编码定理 信息率失真函数给出了失真小于D时所必须具有的最小信息率R(D)； 只要信息率大于R(D)，一定可以找到一种编码，使译码后的失真小于D。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.3 限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数R(D)，则当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D＋?，?为任意小的正数。反之，若RR(D)，则无论采用什么样的编码方法，其译码失真必大于D。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.3 限失真信源编码定理 如果是二元信源，对于任意小的?，每一个信源符号的平均码长满足如下公式 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.3 限失真信源编码定理 在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D)，平均失真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编码，在限失真情况下，有与上述定理一样的编码定理。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.3 限失真信源编码定理 限失真信源编码定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知。因而就不能象无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上迄今尚无合适的可实现的编码方法可接近R(D)这个界。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 5.4 常用信源编码方法简介 游程编码 在二元序列中，连0段称为0游程