信源编码.ppt

信源编码 定义：信源的相对率（信息效率）为信源实际的信息熵与同样符号数的最大熵的比值； 信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。 信源编码和码的分类 1.编码的定义和基本概念 2.码的分类 码的分类： 定长码： 码中所有码字的长度都相同。 唯一可译码： 任意有限长度的码元序列，只能被唯一地分割为一个个码字，则称为唯一可译码。 否则为非唯一可译码。 即时码与非即时码： 一个唯一可译码，在接收端收到一个完整码字后，是否能立即译码。 能即时译码，为即时码。否则为非即时码。 即时码与码树： 即时码可用码树来构造。 构造方法的要点。 编码方法的比较： 香农码、费诺码和哈夫曼码均基于信源的统计特性，编码原则均是：出现频率高的信源符号使用较短的码字。 香农码有系统的、唯一的编码方式。但编码效率不高。 费诺码和哈夫曼码的编码方式不唯一。 费诺码适合于分组概率相等或接近的信源。 哈夫曼码对统计特性没有特别要求，编码效率较高，编码方式简单，是一种综合性能较好的编码方式。 思考题： 信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的好处与坏处，及其计算。 码的种类与分类判断； 编码方法和编码效率计算。 例： 设有一连续随机变量X， (1) 求其相对熵Hc(X) (2)求Y1＝X＋A(A0)的相对熵Hc(Y) (3)求Y2=2X的相对熵Hc(Y) 将六进制信源进行二进制编码： 解：(1) C1码是定长码，其中没有相同的码字，是非奇异码，所以是唯一可译码。 C2码是唯一可译码，但不是即时码。 C3码没有一个码字是其他码字的前缀，所一是唯一可译码，也是即时码。 C4 码流10010 可以译为s2s1s2,也可译为s5s1,,所以不是唯一可译码。 C5 中 s5和s6的码字相同，所以是奇异码。 C6 中的码字“01”不是其他码的前缀，所以是异前缀码（即时码）。 所以 ，唯一可译码有：C1、 C2、 C3、 C6. 即时码有： C1、 C3、 C6. （3）：H（X）＝2 bits C1的平均码长为3，编码效率为2/3。 C2 和C3的平均码长为2.125 ，编码效率为0.941； C6的平均码长为2.5，编码效率为0.8 。 * * 可变长度码： 码中码字的长度不相同。 码字与信源符号一一对应 奇异码： 码字与信源符号不能一一对应。 非奇异码： 任何一个码字不是其它码字的延长或前缀 唯一可译码定理 定理：设信源S的符号集为S：{s1,s2,…,sq}，码符 号集X:{a1,a2,…,ar}，又设码字为W:{w1,w2,…,wq} 其码长分别为n1,n2,…,nq。则存在唯一可译码的充 分必要条件是：q，r，ni(i=1,2,…,q)满足克劳夫特（Kraft）不等式，即： 定长编码定理： （1） 由L个符号组成，每个符号的熵为H(X)的无记忆平稳信源X1X2…XL,可用K个符号Y1，Y2，…,YK(每个符号有r种可能性）。 定长编码定理： （2） 反之 对离散单符号信源，符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法， 变长编码定理（1）： 对离散平稳无记忆信源，消息长度为L，平均符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法， 变长编码定理（2）： 平均信息率： 编码效率： 最佳编码效率： 香农编码 费诺编码 哈夫曼编码 编码方法： 110 110 010 001 000 1 C5 1111 1001 1100 1101 10 0 C4 011111 01111 0111 011 01 0 C2 100 110 010 1/16 s3 001 10 001 1/4 S2 111110 11110 1110 0 C3 111 101 1/16 s6 110 100 1/16 s5 101 011 1/16 s4 01 000 1/2 s1 C6 C1 P(si) （1）这些码那些是唯一可译码？ （2） 哪些码是即时码（异前缀码）? （3） 所有唯一可译码的平均码长和编码效率。