信息论和编码-第4章 无失真信源编码.pptVIP

第四章 无失真信源编码;引言;信源编码: 以提高通信有效性为目的. 通常通过压缩信源的冗余度来实现. 一般方法是压缩每个信源符号的平均比特数或信源的码率. 即同样多的信息用较少的码率传送, 使单位时间内传送的平均信息量增加, 从而提高通信的有效性. 信道编码: 以提高信息传输的可靠性为目的. 通常通过增加信源的冗余度来实现. 采用的一般方法是增大码率/带宽. 与信源编码正好相反. ;引言;信源编码理论是信息论的一个重要分支, 其理论基础是信源编码的两个定理. 无失真信源编码定理: 离散信源/数字信号编码的基础; 限失真信源编码定理: 连续信源/模拟信号编码的基础. 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类. 离散信源编码: 独立信源编码, 可做到无失真编码; 连续信源编码: 独立信源编码, 只能限失真信源编码; 相关信源编码: 非独立信源编码.;??四章 无失真信源编码;第一节 编码器;第一节 编码器;第一节 编码器;第一节 编码器;第一节 编码器;第四章 无失真信源编码;1、二元码： 码符号集X={0,1}, 如果要将信源通过二元信道传输, 必须将信源编成二元码, 这也是最常用的一种码. 2、等长码： 一组码中所有码字的长度都相同; 3、变长码： 一组码中所有码字的长度各不相同; 4、非奇异码： 一组码中所有码字都不相同; 5、奇异码： 一组码中有相同的码字;;第二节 码的分类;第四章 无失真信源编码;第三节 等长信源编码定理;第三节 等长信源编码定理;例: 如果有四个信源符号{s1, s2, s3, s4}, 采用二元编码(r=2), 码长至少 l=2, 则可以编成s1=00, s2=01, s3=10, s4=11.;第三节 等长信源编码定理;例: 英文电报;例: 英文电报;例: 英文电报;;;定理4.1 (等长信源编码定理) 一个熵为H(S)的离散无记忆信源, 若对其N次扩展信源进行等长r元编码, 码长为l, 对于任意ε大于0, 只要满足 则当N足够大时, 则可以实现几乎无失真编码, 即译码错误概率能为任意小. 反之, 若: 则不可能实现无失真编码, 而当N足够大时, 译码错误率近似等于1.;第三节 等长信源编码定理;第三节 等长信源编码定理; 定理4.1的条件式可写成: 左边表示: 长为l的码符号序列所能载荷的最大信息量; 右边代表: 长为N的信源序列平均携带的信息量. 因此, 只要码字传输的信息量大于信源序列携带的信息量, 总可以实现无失真编码. ;第三节 等长信源编码定理;最佳编码效率为：;第三节 等长信源编码定理;例：设离散无记忆信源：;第四章 无失真信源编码;1、变长码的优点: 在N不很大时可编出效率很高的无失真码; 2、同样, 变长码也必须是唯一可译码, 才能实现无失真编码. 3、变长无失真编码的要求: 唯一可译, 即其任意有限长N次扩展码必须是非奇异的.; 码1, 不是唯一可译码; 码2, 非奇异码, 不是唯一可译码, eg, 01000; 码4, 唯一可译码, 也称逗点码(即时码的一种), 只要收到1，就可以立即作出译码; 码3, 唯一可译码, 当收到一个或几个码是, 必须参考后面的码才能作出判断.;第四节 变长码;即时码与唯一可译码的关系: 即时码是唯一可译的, 但唯一可译码不一定是即时码.;2、即时码的树图构造法 我们可以用树图的形式构造即时码, 如;树图法构造的码一定是即时码的原因: 1) 从根到每个终端节点所走的路径都是不同; 2) 中间节点不安排为码字, 所以满足对前缀的限制; 即时码的树图还可以用来译码.;第四节 变长码？？？;History: 这个不等式是1) 1949年克拉夫特(L. G. Kraft)提出的, 它首先是在即时码条件下证出的, 后来2) 在1956年由麦克米伦(B. McMillan)证明了对于唯一可译码也必须满足上面的不等式, 3) 1961年卡拉什(Karush)简化了麦克米伦的证明方法。 定理4.2只给出了唯一可译码的存在性, 并未指出满足不等式条件下如何构成唯一可译码.;定理4.2指出了唯一可译码中r、q、li之间的关系. 如果满足该式, 则至少能构成一种唯一可译码; 否则, 无法构成. 例如前表码1 (W1=0, W2=11, W3=00, W4=11, q=4, r=2), 其码长l1=1, l2=l3=l4=2, 代入不等式得 不等式不满足, 该码长条件下一定不能构成唯一可译码.;第四节 变长码;定理4.6 若存在一个码长为l1, l2,…, lq唯一可译码, 则一定