信息论第十一讲.pptVIP

第6章 信源编码 6.1 信源编码概论 6.2 变长编码方法 6.3 实用的无失真信源编码方法 通信系统的性能指标主要是有效性、可靠性、安全性和经济性，除了经济性外，这些指标正是信息论研究的对象。 编码的目的是为了优化通信系统，使这些指标达到最佳； 按不同的编码目的，编码分为三类：信源编码、信道编码和安全编码/密码。 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 6.1 信源编码概论 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。 信源编码的基础是信息论中的两个编码定理： 无失真编码定理只适用于离散信源 限失真编码定理 对于连续信源，只能在失真受限制的情况下进行限失真编码 例 设一单符号离散无记忆信源 试对该信源编二进制香农码。 6.2 变长编码方法 6.2.1 香农编码 二进制香农码的编码步骤如下： （1）将信源符号按概率从大到小的顺序排列 p(x1)≥ p(x2)≥…≥ p(xn) （2）令 p(x0)=0，用 pa(xj)，j=i+1 表示第 i 个码字的累加概率，则 （3）确定满足下列不等式的整数 li ，并令 li 为第 i 个码字的长度 －log2 p(xi) ≤ li 1－ log2 p(xi) （4）将 pa(xj) 用二进制表示，并取小数点后 li 位作为符号 xi 的编码。 计算出给定信源香农码的平均码长 由离散无记忆信源熵定义，可计算出信源熵为： 信息率为 编码效率为信源熵和信息率之比 例:设有一单符号离散信源 对该信源编二进制费诺码。 6.2.2 费诺编码 （2）按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二进制码就分成两组，编 m 进制码就分成 m 组。 （1）将概率按从大到小的顺序排列 p(x1)≥ p(x2)≥…≥ p(xn) （3）给每一组分配一位码元。 （4）将每一分组再按同样原则划分，重复步骤 2 和 3，直至概率不再可分为止。 该信源的熵为 平均码长为 对上述信源采用费诺编码的信息率为 编码效率为 例：设单符号离散无记忆信源如下，要求对信源编二进制霍夫曼码。 (1) 将信源符号按概率从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xn) 霍夫曼(Huffman) 编码是一种效率比较高的变长无失真信源编码方法。 6.2.3 霍夫曼编码 (2) 信源的第一次缩减信源：给两个概率最小的信源符号 p(xn－1) 和 p(xn) 各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含 (n－1) 个信源符号的新信源，用 S1 表示。 (3)将缩减信源 S1 的符号仍按概率从大到小顺序排列，重复步骤 (2)，得到只含 (n－2) 个符号的缩减信源 S2。 (4) 重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为 1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 信源熵为 平均码长为 编码效率为 若采用定长编码，码长 L=3，则编码效率 编码效率提高了 12.7%。 缩减信源时，若合并后的新符号概率与其他符号概率相等，从编码方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不相同。不同的编法得到的码字长度 li 也不尽相同。 [例] ：单符号离散无记忆信源 ， 用两种不同的方法对其编二进制哈夫曼码。 方法一：合并后的新符号排在其它相同概率符号的后面。 方法二：合并后的新符号排在其它相同概率符号的前面。 编法一的平均码长为 编法二的平均码长为 可见 ，本例两种编法的平均码长相同，所以编码效率相同。 讨论： 码字长度的方差σ2：长度 li 与平均码长 之差的平方的数学期望，即 编法一码字长度方差： 编法二码字长度方差： 不同