无失真信源编码.pptVIP

定理5.3.6仙农第一定理证明思路：若对任意信源X的N次扩展源进行编码，当N足够大时，总能找到唯一可译的r进编码，使得X的平均码长任意接近信源的熵利用定理(5.3.5)的不等式，就可得到定理的结果相关定义编码速率：编码效率：信息传输速率：编码剩余度：对所有唯一可译码都要满足无需一定满足，但存在这种关系，通常希望越小越好一些结论平均码长的上、下界时，，此时：各信源符号出现概率为li为整数每码元平均所带信息量为,码元符号独立且等概例5.3.2用例5.2.1的信源模型，i)对单信源符号进行二元编码，即，求平均码长和编码效率；ii）编成2次扩展码，信源序列与码序列的映射关系为：求平均码长和编码效率。解：1)信源序列的概率：2)且：与例5.2.1相比，可以看出，为得到同样编码效率所用的比定长码小得多。因此容易达到高的编码效率，是变长码的显著优点。§5.4哈夫曼编码本节主要内容一、二元哈夫曼编码二、多元哈夫曼编码三、马氏源的编码定理5.4.1任意对于一个含q个符号的信源，存在最优的二进制码，其中有两个最长的码字有相同的长度且仅最后一个码位有别，即其中一个的最末尾是0，而另一个的最末尾