信息论基础课件5.3.pptVIP

5.3. 哈夫曼编码;表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。;;从表中编码过程可以看出，哈夫曼编码方法得到的码一定是即时码。因为这种编码方法不会使任一码字的前缀为码字。;这一点在用码树形式来表示的时候，看得更清楚。下图是用码树形式进行哈夫曼编码的过程，由于代表信源符号的节点都是终端节点，因此其编码不可能是其它终端节点对应的编码的前缀。另外，由于哈夫曼编码总是把概率大的符号安排在离根节点近的终端节点，所以其码长比较小， 因此得到的编码 整体平均 码长就 比较小。;三进制哈夫曼码： ;;在编m进制哈夫曼码时，为了使平均码长最短，必须使最后一级缩减信源有m个信源符号，这样，第一步给概率最小的符号分配码元时，所取的符号数就不一定是m个。;当有s个码字不用时，第一次对最小概率符号分配码元时就只取m-s个，分别配以0,1,….,m-s-1,把这些符号的概率相加作为一个新符号的概率，与其他符号一起重新排列，以后每次就可以取m个符号。如课本例5.3.3; 哈夫曼编码得到的码不是唯一的，因为每次对缩减信源中两个概率最小的符号编码的时候，“0”和“1”的安排是任意的。另外当两个符号的概率相同的时候，排列的次序也是随意的，所以可能导致不同的编码结果，但最后的平均码长一定是一样的。在这种情况下，怎么样来判断一个码的好坏呢？我们引进码字长度 偏离平均长度 的方差 ，即;因此，在哈夫曼编码的过程中，当缩减信源的概率分布重新排列时，应使合并得来的概率和尽可能处于最高的位置，这样可使合并的元素重复编码次数减少，使短码得到充分利用。;;变长编码的特点： (1)平均码长短； (2)对编解码设备要求高。 当使用变长编码时，为了提高编码效率，往往需要把一个很长的序列一起进行编码，这样虽可以使平均码长减小，但具体到某一个特定的信源符号，则有可能比定长编码得到的码字长度还要长。这将使编解码设备的复杂度提高;(3)有误码传播现象。 在理想情况下，变长编码可以无失真地译码。但是，如果这种变长编码由信道传输发生误码时，因为一个码字前面有某一个码元错了，就可能误认为是另一个码字而错误地判断。结果后面一系列的码字也会译错，这种现象叫做误码的扩散，或者叫误码传播。