第5章节_信源编码.ppt

第５章　信源编码 信源编码 如果信源输出符号序列长度L=1，信源符号集A(a1，a2，…，an)，信源概率空间为 第５章　信源编码 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。 第５章　信源编码 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 第５章　信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码 定长码与变长码 码可分为两类： 固定长度的码，码中所有码字的长度都相同，如表中的码1就是定长码。 可变长度码，码中的码字长短不一，如表中码2就是变长码。 码的不同属性 即时码 码的分类 即时码的构造－码树图 对于m进制树图，有树根、树枝和节点。 码树图最顶部的节点称为树根； 每一个分支称为树枝； 树枝的尽头称为节点，每个节点生出的树枝数目等于码符号数m； 从树根到终端节点各树枝代表的码符号顺次连接，就得到了编码码字。 m=2的二进制码树图 满树与非满树 考虑一个树有n阶节点。 满树：码树的各个分支都延伸到最后一级端点，此时共有mn个码字； 非满树：码树中存在分支，没有延伸到最后一级端点，此时，将少于mn个码字。 右图为非满树 克劳夫特不等式（证明P133） m元长度为ki,i=1,2,…,n的即时码存在的充分和必要条件：各码字的长度ki应符合克劳夫特不等式 {1，01，001，000} 惟一可译码； {1，01，101，000} 不是惟一可译码； 均满足克劳夫特不等式 克劳夫特不等式只是用来说明即时码是否存在，并不能作为即时码的判据。 5.1.2　香农（Shannon）编码 香农编码步骤： 1. 将信源消息符号按其出现的概率大小依次排列； 2.确定满足下列不等式的整数码长Ki； 3.为了编成唯一可译码，计算第i个消息的累加概率； 4.将累加概率Pi变换成二进制数； 5.取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。 5.1.2　香农编码－举例P166习题5.1 例：设信源共7个符号消息，其概率和累加概率如下表所示。 5.1.2 香农编码－举例（续） 5.1.2 香农编码－举例（续） 5.1.3 费诺（Fano）编码 费诺编码属于概率匹配编码，二进制费诺编码步骤： (1)将信源消息符号按其出现的概率大小依次排列： 。 (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。 5.1.3 费诺编码 (3)将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又赋予两个组一个二进制符号“0”和“1”。 (4)如此重复，直至每个组只剩下一个信源符号为止。 (5)信源符号所对应的码字即为费诺码。 5.1.3 费诺编码（例１） 例：对以下信源进行二进制费诺编码。 P166习题5.2 5.1.3 费诺编码（例１续） 5.1.3 费诺编码（例２） 例：对以下信源进行费诺编码。P136例5.1.4 5.1.3 费诺编码（例２续） 5.1.3 费诺编码 从以上例子看出，费诺码的编码方法实际上是构造码树的一种方法，所以费诺码是非延长码（即时码）。 费诺码考虑了信源的统计特性，使经常出现的信源符号对应短码字。但是，不一定能使短码得到充分利用。 费诺码不一定是最佳码。 5.1.4 哈夫曼（Huffman）编码 二进制哈夫曼码的编码方法： (1)将信源消息符号按其出现的概率大小依次排列： 。 (2)取两个概率最小的符号分别配以0和1两个码元，并将这两个概率相加作为一个新符号的概率，与未分配二进制码元的符号重新排队。 5.1.4 哈夫曼（Huffman）编码 (3)对重排后的两个概率最小符号重复步骤(2)的过程。 (4)不断继续上述过程，直到最后两个符号配以0和1为止。 (5)从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。 5.1.4 哈夫曼（Huffman）编码（例１） 例：对以下信源进行哈夫曼编码。 P166习题5.3 5.1.4 哈夫曼（Huffman）编码（例１续） 0.20 0.20 0.26 0.35 0.39 0.61 1.0 0.19 0.19 0.20