[理学]5--第5章信息论课件.ppt

* * * * * * * * * * * * * * 西北大学信息学院 * * 码4 1 1 1 1 0 0 0 1 01 001 0001 码4 0 0 0 0 1 1 1 0 10 110 1110 树码 如果有n个信源符号,那么在码树上就要选择n个终端节点,用相应的r元基本符号表示这些码字。 码0 0 1 0 0 1 11 1 10 01 00 任一即时码都可用树图法来表示。 当码字长度给定,即时码不是唯一的。 西北大学信息学院 * * 1 10 1000 100 1 0 0 0 码3对应的树如下图: 该码树从根到终端节点所经路径上每一个中间节点皆为码字,因此不满足前缀条件。 虽然码3不是即时码,但它是唯一可译码。 西北大学信息学院 * * Kraft不等式 满树： 每个节点上都有r个分枝的树——等长码 非满树： 变长码 用树的概念可导出唯一可译码存在的充分和必要条件,即各码字的长度Ki应符合Kraft不等式 式中: r是进制数 q是信源符号数 西北大学信息学院 * * 例：设二进制码树中X=(a1 , a2 , a3 , a4), K1=1,K2=2,K3=2,K4=3,应用Kraft不等式,得： 不存在满足这种Ki的唯一可译码 0 0 0 1 1 0 10 110 11 中间节点 如果将各码字长度改成K1=1,K2=2,K3=3,K4=3,则 这样的码字就存在唯一可译码 111 西北大学信息学院 * * 必须注意： Kraft不等式只是用来说明唯一可译码是否存在,并不能作为唯一可译码的判据。 如码字{0，10，010，111}虽然满足Kraft不等式,但它不是唯一可译码。 西北大学信息学院 * * 5.4 变长编码定理 在变长编码中码长L是变化的。 平均码长 信息传输率(码率) 每秒传输信息率 我们可根据信源各个符号的统计特性,如概率大的符号用短码,概率小的用较长的码,这样在大量信源符号编成码后平均每个信源符号所需的输出符号数就可以降低,从而提高编码效率。 西北大学信息学院 * * 定理5.8 无失真变长信源编码定理（香农第一定理） 离散无记忆信源S的N次扩展信源 ，其熵为 ，并且编码器的码元符号集为A： ，对信源 进行编码，总可以找到一种编码方法，构成唯一可译码，使信源S中每个符号si所需要的平均码长满足 当 则得： 西北大学信息学院 * * 这个定理是香农信息论中非常重要得一个定理，它指出，要做到无失真得信源编码，信源每个符号所需要的平均码元数就是信源的熵值，如果小于这个值，则唯一可译码不存在，可见，熵是无失真信源编码的极限值。定理还指出，通过对扩展信源进行编码，当N趋向于无穷时，平均码长可以趋进该极限值。 还可以证明，如果我们不确切知道信源的概率分布，我们用估计的概率分布去进行编码时，平均码长会加长，但是如果估计的偏差不大的话，平均码长也不会增加太多（定理5.9的内容）。 西北大学信息学院 * * A B C D E F G H I J · – – · · · – · – · – · · · · · – · – – · · · · · · · · – – – K L M N O P Q R S T – · – · – · · – – – · – – – · – – · – – · – · – · · · · – U V W X Y Z ， . · · – · · · – · – – – · · – – · – – – – · · – – · · – – · – · – · – 1 2 3 4 5 6 7 8 9 0 · – – – – · · – – – · · · – – · · · · – · · · · · – · · · · – – · · · – – – · · – – – – · – – – – – Morse电报字符 西北大学信息学院 * * 变长编码定理 用变长编码来达到相当高的编码效率,一般所要求的符号长度L可以比定长编码小得多。 编码效率的下界： 西北大学信息学院 * * 由 若对例5-2用变长码实现, 要求η＞90%,用二进制,m＝2,log2m=l。 得N= 4 与定长编码相比，对同一信源，要求编码效率都达到90%时，变长编码只需L=4进行编码，而等长码则要求L大于1.6875×107。用变长编码时，L不需要很大就可以达到相当高的编码效率而且可实现无失真编码。 西北大学信息学院 * * 例5-3设离散无记忆信源概率空间 信源熵： 若用二元定长编码(0,1)来构造一个即时码: a1 → 0, a2 →