编码之统计编码及信息熵.doc

1．统计编码原理──信息量和信息熵 　　 　　根据香农信息论的原理，最佳的数据压缩方法的理论极限是信息熵。如果要求在编码过程中不丢失信息量，即要求保存信息熵，这种信息保持的编码又叫熵保存编码，或叫熵编码。熵编码是无失真压缩。当然在考虑人眼失真不易察觉的生理特性时，有些图像编码不严格要求熵保存，信息允许通过部分损失来换取高的数据压缩比。这种编码属于有失真数据压缩。 　　信息是用不确定性的量度定义的，也就是说信息被假设为由一系列的随机变量所代表，它们往往用随机出现的符号来表示。我们称输出这些符号的源为“信源”。也就是要进行研究与压缩的对象。 　　信息量 　　信息量指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也可以说是辨别N个事件中特定事件过程中所需提问“是”或“否”的最小次数。 　　例如：从64个数（1～64的整数）中选定某一个数（采用折半查找算法），提问：“是否大于32？”，则不论回答是与否，都消去半数的可能事件，如此下去，只要问6次这类问题，就可以从64个数中选定一个数，则所需的信息量是 =6（bit）。 　　我们现在可以换一种方式定义信息量，也就是信息论中信息量的定义。 　　设从N中选定任一个数X的概率为P(x)，假定任选一个数的概率都相等，即P(x)=1/N，则信息量I (x)可定义为： 　　　 　　上式可随对数所用“底”的不同而取不同的值，因而其单位也就不同。设底取大于1的整数α，考虑一般物理器件的二态性，通常α取2，相应的信息量单位为比特（bit）；当α=e，相应的信息量单位为奈特（Nat）；当α=10，相应的信息量单位为哈特（Hart）。 　　显然，当随机事件x发生的先验概率P(x)大时，算出的I(x)小，那么这个事件发生的可能性大，不确定性小，事件一旦发生后提供的信息量也少。必然事件的P(x)等于1， I(x)等于0，所以必然事件的消息报导，不含任何信息量；但是一件人们都没有估计到的事件（P(x)极小），一旦发生后，I(x)大，包含的信息量很大。所以随机事件的先验概率，与事件发生后所产生的信息量，有密切关系。I(x)称x发生后的自信息量，它也是一个随机变量。 　　P(x)大时，算出的I(x)小 必然事件的P(x)等于1， I(x)等于0。 　　P(x)小时，算出的I(x)大 必然事件的P(x)等于0， I(x)等于1。 　　I(x)称x发生后的自信息量，它也是一个随机变量。 　　信息熵 　　现在可以给“熵”下个定义了。信息量计算的是一个信源的某一个事件（X）的自信息量，而一个信源若由n个随机事件组成，n个随机事件的平均信息量就定义为熵(Entropy)。 　　熵的准确定义是：信源X发出的xj(j=1,2,……n), 共n个随机事件的自信息统计平均（求数学期望），即 　　　 　　H(X)在信息论中称为信源X的“熵 （Entropy）” ，它的含义是信源X发出任意一个随机变量的平均信息量。 　　更详细的说，一般在解释和理解信息熵有4种样式 　　（1） 当处于事件发生之前，H(X)是不确定性的度量； 　　（2） 当处于事件发生之时，是一种惊奇性的度量； 　　（3） 当处于事件发生之后，是获得信息的度量； 　　（4） 还可以理解为是事件随机性的度量． 　　下面为了掌握信息熵的概念，我们来做一道计算题。 　　例如：以信源X中有8个随机事件，即n=8。每一个随机事件的概率都相等，即P(x1)=P(x2)=P(x3)……P(x8)=1/8 ，计算信源X的熵。 　　应用“熵”的定义可得其平均信息量为3比特 　　　 　　再例： 信源X中有17个随机事件，即n=17。每一个随机事件的概率分别为： 　　　 　　计算信源X的熵。 　　信息熵的计算公式： 　　 　　信源X的熵： 　　　 　　定长码与变长码 　　定长码（fixed-length code）即采用相同的位数（bit）对数据进行编码。大多数存储数字信息的编码系统都采用定长码。如我们常用的ASCII码就是定长码，其码长为1字节（Byte）。汉字国标码也是定长码，其码长为2字节（Byte）。 　　变长码（variable-length code）即采用不相同的位数（bit）对数据进行编码，以节省存储空间。 　　例如，不同的字符或汉字出现的概率是不同的，有的字符出现的概率非常高，有的则非常低。根据统计，英文字母中“E”的使用概率约为13％，而字母“Z”的使用概率则为0.08％。又如大多数图像常含有单色的大面积图块，而且某些颜色比其他颜色出现更频繁。为了节省空间，在对数据进行编码时，就有可能对那些经常出现的数据指定较少的位数表示，而那些不常出现的数据指定较多的位数表示。这样从总的效果看还是节省了存储空间。用这种方法得到的代码，其码的位数，也即码长就