近代信息论第三章.ppt

第1页，共25页，星期日，2025年，2月5日主要内容第三节：平均码长界限定理第四节：无失真信源编码定理第五节Huffman编码第2页，共25页，星期日，2025年，2月5日第三节：平均码长界限定理定义1：平均码长含义：从平均意义上说，一个信源符号所需的平均码符号数。第3页，共25页，星期日，2025年，2月5日平均码长界限定理定义2码率coderate(码的信息传输率）含义：，每一个码符号所能携带的信息量。问题虽然R和平均码长和H(S)有关，但当信源固定（H(S)一定时），平均码长增大，R减小，有效性差。我们的目的：寻找平均码长尽可能小的码。手段：使得码长和概率相搭配（概率大的与码长小的相配）由“平均码长界限定理”给出这个界。第4页，共25页，星期日，2025年，2月5日定理：若一个离散无记忆信源S具有熵H(S)，并有r个码符号集X:{a1，a2,…,ar},则总可以找到一种无失真编码，构成单义可译码，使平均码长满足：平均码长界限定理证明第5页，共25页，星期日，2025年，2月5日平均码长界限定理证明——下界即：第6页，共25页，星期日，2025年，2月5日平均码长界限定理证明——上界按上式选择码长构成的码满足Kraft不等式，则至少可构成单义可译码。第7页，共25页，星期日，2025年，2月5日平均码长界限定理证明——上界注：按（1）式所构成的单义可译码，平均码长小于上界即：平均码长小于上界时，单义可译码存在。但不意味着，平均码长大于上界就不能构成单义可译码。第8页，共25页，星期日，2025年，2月5日平均码长界限定理推论1码率：定义1码的每秒信息传输率要无差错传输，必须使每秒所传递的平均信息量小于信道每秒能通过的最大信息量。第9页，共25页，星期日，2025年，2月5日定义2平均码长界限定理信道每秒所能传递的信源符号数back第10页，共25页，星期日，2025年，2月5日第四节：无失真信源编码定理有界限定理可知平均码长有下界，问：能否达到下界？是否存在这样的码？——无失真信源编码定理：（Shannon第一定理）对于平均符号熵为H(S)的离散平稳无记忆信源，对S的L次扩展进行编码，存在一种无失真编码，使得：(1)(2)第11页，共25页，星期日，2025年，2月5日无失真信源编码定理证明对S的L次扩展信源进行编码S1，S2,…,SL,设用r进制码元X:{a1，a2,…,ar}做变长编码。（1）由平均码长界限定理，存在单义可译码，L次扩展后平均码长满足：第12页，共25页，星期日，2025年，2月5日（2）定义变长码编码速率编码效率无失真信源编码定理证明back第13页，共25页，星期日，2025年，2月5日第五节Huffman编码Shannon编码Fano编码Huffman编码例第14页，共25页，星期日，2025年，2月5日Shannon编码码长满足计算出相应的码长，在码树上挑码。例：则：第15页，共25页，星期日，2025年，2月5日Fano编码——概率r等份步骤：按概率大小次序排列；将消息分成近似于等概的r个子集：{a1},{a2,a3,a4},{a5,…,a9}分别与码树的一级节点对应；同样各组分成等概子集第16页，共25页，星期日，2025年，2月5日P第一次划分第二次划分第三次划分码字码长01201201201200111212021220221222122222333第17页，共25页，星期日，2025年，2月5日第18页，共25页，星期日，2025年，2月5日