失真信源编码 -最新信息论与编码.pptVIP

第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;信源符号si ;第五章：无失真信源编码;第五章：无失真信源编码;编码器输出的码符号序列 称为码字；长度 称为码字长度，简称码长；全体码字的集合C称为码。 假设码符号集合为X={0,1}，那么所得的码字都是二元序列，称为二元码。;第五章：无失真信源编码;第五章：无失真信源编码; 唯一可译码应当满足的条件;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真信源编码;信源 ;消息 ;第五章：无失真信源编码;8. 即时码的构造方法〔续1〕;第五章：无失真信源编码;用树图法可以方便地构造即时码。树中每个中间节点都伸出1至r个树枝，将所有的码字都安排在终端节点上就可以得到即时码。 每个中间节点都正好有r个分枝的树称为整树〔满树〕。 所有终端节点的阶数都相等的树为完全树;第五章：无失真信源编码;1. 唯一可译定长码存在的条件;1. 唯一可译定长码存在的条件〔续1〕;1. 唯一可译定长码存在的条件〔续2〕; p(sj) I(sj)/N s1= s1 s1 1/4 1 s2= s1 s2 1/8 1.5 s3= s1 s3 1/16 2 s4= s1 s4 1/16 2 s5= s2 s1 1/8 1.5 s6= s2 s2 1/16 2 s7= s2 s3 1/32 2.5 s8= s2 s4 1/32 2.5 ;定理5.3.1 设离散平稳无记忆信源的熵为H(S), 假设对N次扩展信源 进行定长编码，那么对于任意 0，只要满足 那么当N足够大时，可实现几乎无失真编码，即译码错误概率 PE 为任意小；反之，那么不可能实现无失真编码， 如果 当N足够大时，译码错误概率 PE 为1。;可以验证，对定长信源编码来说，要想实现无失真信源编码，N常常要取非常大的值。这在实际应用中很难实现。;第五章：无失真信源编码;第五章：无失真信源编码;例 5.2;1. Kraft不等式和McMillan不等式;1. Kraft不等式和McMillan不等式??续1〕;信源符号si ;2. 变长唯一可译码判别方法;2. 变长唯一可译码判别方法〔续〕;3.紧致码平均码长界限定理;3.紧致码平均码长界限定理〔续1〕;定理5.6 紧致码平均码长界限定理;3.紧致码平均码长界限定理〔续3〕;3.紧致码平均码长界限定理〔续4〕;4.无失真变长信源编码定理;证明：; 把香农第一定理推广到一般离散信源，有;bit/信源符号; 例5.5 设离散无记忆信源 , 求 R、η及扩展信源的R、η 。 ;第五章：无失真信源编码;1. 香农码〔续1〕;信源符号;1. 香农码〔续3〕;2. 香农-费诺-埃利斯编码;2. 香农-费诺-埃利斯编码〔续1〕;3. Huffman码;3. Huffman码〔续1〕;0;0;0;讨论： 1) 两种方法平均码长相等。 2) 计算两种码的码长方差：;3. Huffman码〔续6〕;3. Huffman码〔续7〕;3. Huffman码〔续8〕;定理5.8 霍夫曼码是紧致码;4. r 元霍夫曼码;0;4. r 元霍夫曼码〔续2〕;5. Fano码;5. Fano码〔续1〕;5. Fano码〔续2〕;5. Fano码〔续3〕;5. Fano码〔续4〕;香农码、Huffman码、Fano码总结;首先是速率匹配问题 其次是过失扩散问题 第三是霍夫曼码需要查表来进行编译码。 信源统计特性未知时，怎么办？可采用所谓通用编码的方法。 ;第五章：无失真信源编码;第五章：无失真信源编码;对于黑、白二值文件: 1、黑白游程总是交替出现，可以规定第一游程为白游程。 2、不同游程长度出现的概率不同，对游程长度进行编码采用霍夫曼编码，概率大的编长码，概率小的编短码。;第五章：无失真信源编码;第五章：无失真信源编码;第五章：无失真