第五节信源编码.ppt

第五章信源编码 通信的实质：信息的传输。 信息传输的基本问题：高速度、高质量地传送信息。 这就需要解决两个问题： 第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息； 第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。 一、 通信系统的优化模型： 信源编码目的：提高通信系统有效性，实现信源与通信系统间的统计匹配。 如果接收端收到一个完整的码字后，不能立即译码，还要等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。 树----既有根、枝，又有节点,(如图所示) 即时码：它可引用很直观的“码树”概念来说明： §5.1.4 信源编码 1. 香农编码方法 例题：设信源共有7个符号组成，其概率如表所示，求其香农码。 解： 评述 香农编码方法特点： 由于bi总是进一取整，香农编码方法不一定是最佳的； 由于第一个消息符号的累加概率总是为0，故它对应的码字总是0、00、000、0…0的式样； 码字集合是唯一的，且为即时码； 先有码长再有码字； 对于一些信源，编码效率不高，冗余度稍大，因此其实用性受到较大限制。 2. 费诺编码方法 1)将信源符号以概率递减的次序排列起来，将排列好的信源符号分成两组，使每一组的概率之和相接近，并各赋予一个二元码符号“0”或者“1”； 2)将每一组的信源符号再分成两组，使每一小组的符号概率之和也接近相等，并又分别赋予一个二元码符号。 3)依此下去，直到每一个小组只剩下一个信源符号为止。 这样，信源符号所对应的码符号序列则为编得的码字。 例题：信源符号及其概率仍如香农码中的例题所示。 例题：离散无记忆信源及其符号概率分布如下表所示，求其费诺码。 评述 费诺编码特点： 概率大，则分解的次数小；概率小, 则分解的次数多。这符合最佳编码原则。 码字集合是唯一的。 分解完了，码字出来了，码长也有了。 因此，费诺编码方法又称为子集分解法。 费诺编码方法比较适合于每次分组概率都很接近的信源，特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。 3. 哈夫曼（Huffman）编码方法－－一种最佳的逐个符号的编码方法。 一)编码步骤如下： (4)依此继续下去，直至信源只剩下两个符号为止。将这最后两个信源符号分别用“0”和“1”表示。 二）总结编码规则： 1)将信源消息U按概率大小排序（由大至小）。 2) 从最小两个概率开始编码，并赋予一定规则，如下支路小概率为“1”，上支路大概率为“0”。 3) 将已编码两支路概率合并，重新排队，编码。 4) 重复步骤3）直至合并概率归一时为止。 5) 从概率归一端沿树图路线逆行至对应消息编码。 例2：下表是一个哈夫曼编码的整个过程。 编码效率为 例3：如下表是又一个哈夫曼编码的过程。 四、结论 从表中编码过程可以看出，哈夫曼编码方法得到的码一定是即时码。因为这种编码方法不会使任一码字的前缀为码字。这一点在用码树形式来表示的时候，看得更清楚。下图是用码树形式进行哈夫曼编码的过程，由于代表信源符号的节点都是终端节点，因此其编码不可能是其它终端节点对应的编码的前缀。 哈夫曼编码具有以下三个特点： (1)哈夫曼编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，且短码得到充分利用。 (2)每次缩减信源的最后两个码字总是最后一位码元不同，前面各位码元相同。 (3)每次缩减信源的最长两个码字有相同的码长。 这三个特点保证了所得的哈夫曼编码一定是最佳码。 缺点： 缺乏严格的构造性，无法用确定的数学加以概括 应用 1、JPEG标准 2、MPEG-4标准 六、下面讨论哈夫曼编码应用中的一些问题： 哈夫曼编码是一种无失真信源最佳编码，但是在实际信道中是有失真的。噪声的引入必然要破坏变长码结构，对于变长码（不加同步），错误不但影响受干扰位，还要进一步扩散。 3)与信源统计特性相匹配的问题 变长码本身就是与信源统计特性相匹配的无失真信源编码，因此信源统计特性的变化对变长码影响很大，它主要体现在下面两点： 与信源消息种类多少的关系：一般变长码更适合于大的消息集，而不适合于小且概率分布相差很大的集合。小消息集合只有在很特殊情况下才能实现统计匹配。 变长码是在信源概率特性已知情况下，实现统计匹配的。如果信源统计特性不完全知道甚至完全不知道时，如何实现编码，这是属于通用编码所要研究的问题。 5、游程编码 游程：在二元序列中，只有“0”和“1”两个码元，我们把连续出现的“0”叫做“0”游程，连续出现的“1”叫做“1”游程。 多元序列-----游程序列: 例:0001111223333333…….. 011 0011 0.1 X5 010 0010 0.1 X4 11 0