无失真和限失真信源编码.pptVIP

* 信源熵： 两种编码的平均码长分别为 因为lb3＝1.58bit,lb4＝2bit，所以其编码效率分别为 * 5.2. 无失真信源编码 无失真信源编码的实质就是对离散信源进行适当的变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概率分布，以使新信源的每个码符号平均所包含的信息量达到最大，从而使信道的信息传输率和信道容量相等，实现信源与信道理想的统计匹配，这也是香农第一定理的物理意义。 * 5.3 限失真信源编码定理 信息率失真函数给出了失真小于D时所必须具有的最小信息率R(D)； 只要信息率大于R(D)，一定可以找到一种编码，使译码后的失真小于D。 * 5.3 限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数R(D)，则当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D＋?，?为任意小的正数。反之，若RR(D)，则无论采用什么样的编码方法，其译码失真必大于D。 * 5.3 限失真信源编码定理 如果是二元信源，对于任意小的?，每一个信源符号的平均码长满足如下公式 * 5.3 限失真信源编码定理 在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D)，平均失真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编码，在限失真情况下，有与上述定理一样的编码定理。 * 5.3 限失真信源编码定理 限失真信源编码定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知。因而就不能象无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上迄今尚无合适的可实现的编码方法可接近R(D)这个界。 * 5.2.2 变长编码定理 若对这个信源采用定长二元码编码，要求编码效率达到96％时，允许译码错误概率 * 5.2.3 最佳变长编码 最佳变长编码 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 * 5.2.3 最佳变长编码 能获得最佳码的编码方法主要有： 香农（Shannon） 费诺（Fano） 哈夫曼（Huffman）等 * 5.2.3 最佳变长编码 一、香农（Shannon）编码 1、将信源消息符号按其出现的概率大小依次排列 2、确定满足下列不等式的整数码长Ki。 * 5.2.3 最佳变长编码 为了编成唯一可译码，计算第i个消息的累加概率 将累加概率Pi变换成二进制数。 取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。 * 5.2.3 最佳变长编码 信源消息符号ai 符号概率(ai) 累加概率Pi -log p(ai) 码字长度Ki 码字 a1 0.20 0 2.32 3 000 a2 0.19 0.2 2.39 3 001 a3 0.18 0.39 2.47 3 011 a4 0.17 0.57 2.56 3 100 a5 0.15 0.74 2.74 3 101 a6 0.10 0.89 3.32 4 1110 a7 0.01 0.99 6.64 7 1111110 例4 设信源共7个符号消息，其概率和累加概率如下表所示。 * 5.2.3 最佳变长编码 设以i=4为例，求得 * 5.2.3 最佳变长编码 码元/符号 比特/码元 信源符号的平均码长为 平均信息传输率为 * 5.2.3 最佳变长编码 例5 设信源有3个符号,概率分布为(0.5,0.4,0.1)， 写出其香农编码。 解：由于p1=0.5，p2=0.4，p3=0.1 由 得 K1=1，K2=2，K3=4 累加概率为P1=0，P2=0.5，P3=0.9 * 5.2.3 最佳变长编码 (0)10=(0)2，(0.5)10=(0.10…)2 (0.9)10=(0.1110…)2， 0 1 0 1 0 1 0 1 10 1110 K1=1，K2=2，K3=4 得编码码字分别为0，10，1110。 * 5.2.3 最佳变长编码 二、费诺编码方法 费诺编码属于概率匹配编码 (1)将信源消息符号按其出现的概率大小依次排列： 。 (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。 * 5.2.3 最佳变长编码 (3)将每一大组的信源符号进一步再分成两组，使划分后的两个组的概