多媒体技术基础及应用24374.pptVIP

第4章 多媒体数据压缩编码技术 第二部分（一）统计编码 信息熵的概念 信息熵的概念 信源X中有16个随机事件，即n=16。每一个随机事件的概率分别为： X1--X8＝1/32 ； X9--X12＝1/16； X13--X16＝1/8， 请写出信息熵的计算公式并计算信源X的熵。 信息熵的概念 (1)当处于事件发生之前，是不确定性的度量； (2)当处于事件发生之时，是一种惊奇性的度量； (3)当处于事件发生之后，是获得信息的度量； (4)还可以理解为是事件随机性的度量。 最大离散熵定理 以信源X中有8个随机事件，即n=8。 每一个随机事件的概率都相等，信源X的熵为： 即 当 时，信源X的熵 熵的范围： 只要信源不是等概率分布，就存在着数据压缩的可能性。这就是统计编码的理论基础。 如果要求在编码过程中不丢失信息量，即要求保存信息熵，这种信息保持编码又叫做熵保存编码，或者叫熵编码。 特性：熵编码是无失真数据压缩，用这种编码结果经解码后可无失真地恢复出原图像。 熵的范围： 只要信源不是等概率分布，就存在着数据压缩的可能性。这就是统计编码的理论基础。 1、变字长编码定理 在变字长编码中，对于出现概率大的信息符号，编以短字长的码,对于出现概率小的信息符号编以长字长的码，如果码字长度严格按照符号概率的