举例二次剩余和Blum整数-Read.ppt

* 相关性 * 信源符号间的依赖程度定义为信源的相关性 。 假设信源有m个符号，那么，对于不同的情况可以分别计算信源的熵： (符号独立等概率) (独立信源) (只考虑前一个符号对当前输出符号的影响) … (考虑前n–1个符号对当前输出符号的影响) 可以证明， 。 这表明，符号相关程度越大，熵越小，反之亦然。 * 冗余度 为描述信源的相关性，引入信源效率η和冗余度γ： 信源效率 信源冗余度γ = 1-η。 其中，H0为信源符号独立等概率分布时信源的熵，是每个符号所能携带的最大信息量，但实际上每个信源符号才携带H∞的信息，γ表示信源中多余成分的比例。 * 以英语为例，一般英语信源由26个字母和空格符组成，根据资料，H0= log227≈4.76比特, H1≈4.03比特,H2≈3.32比特,H3≈3.1比特,H∞≈1.4比特. 英语信源的信息效率η≈0.29