第五章 信源编码 信息论与编码 课件.pptVIP

信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础，如语音、图像等信号。 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。 定长编码定理：由L个符号组成的，平均符号熵为H(X)的平稳无记忆符号序列X，可用由K个码符号(每个有m种取值)组成的码序列作定长编码。对任意 ?＞0, ?＞0 ，有： (1)正定理：只要 则当L足够大时，译码差错必小于? (2)逆定理：当 时译码差错必为有限值，且当L足够大时,译码几乎必定出错。 说明： (1)信息率(编码速率) R =(K/L)log2m bit/信源符号 log2m —— 每个码符号的最大熵(bit/码符号) Klog2m —— 每个码符号序列最大熵(bit/码序列) (K/L)log2m —— 编码后，平均每个信源符号所能载荷的最 大信息量 (2)编码效率 H(X)—编码前，平均每个信源符号包含的信息量 R——编码后，平均每个信源符号所能传送的最大信息量 [例] 给定信源模型：8种符号和概率 算得：H(X)=2.55 bit /信源符号， ?2(X) =1.323 Δ若要求：编码效率? =90%，由 得? =0.28 Δ若要求: 译码差错率δ=10-6 , 则L太大 此外， 编码效率不高 变长编码 树图法构造即时码(异前置码) (1) 码树画法(m进制) 从树根出发，画m条树枝，树枝端点称为一级节点，有m个；从第一级节点出发，再画m条树枝，得第二级节点，有m2个；第n级节点，共有mn个。 串联的树枝成为联枝。从树根出发到每一个终节点的联枝代表一个码字。 (2)克拉夫特不等式 m元长度为ki的即时码存在的充要条件 n—信源符号数，m—码元个数，ki—第i个码字长度 证明略 单符号变长编码定理 若一离散无记忆信源的符号熵为H(X)，对信源符号以m进制码元作变长编码，则必定存在一种无失真编码方法，其码字平均码长满足 [意义] ①给出了平均码长的上,下限。可在编码前先估算 ②下限给出了信源压缩的极限。达到下限的编码——熵编码 ③最佳编码应是——与信源熵H(X)相匹配的编码 1. 将信源符号按概率排序：p(a1)≥p(a2)≥…≥p(an)； 2. 计算第i个码字(之前)的累加概率pa(xj) 3. 确定第i个码字的码长ki(整数)：-log2p(xi)≤ki＜1-log2p(xi) 4.将累加概率pa(xj)变为二进制数，并取其小数点后ki位，即为ai的编码 [说明]j=1时， pa(a1) = p(a0) =0 j=2时， pa(a2) = p(a1) + p(a0) = p(a1) j=3时， pa(a3) = p(a2) + p(a1) 因而pa(aj)表示：aj之前(不含aj)的各概率之和 费诺编码也是一种常见的信源编码方法。 编码步骤如下： (1)将概率按从大到小的顺序排列，令 p(a1)≥ p(a2)≥…≥ p(an) (2)按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。 (3)给每一组分配一位码元。 (4)将每一分组再按同样原则划分，重复步骤2和3，直至概率不再可分为止。 例 设有一单符号离散信源 对该信源编二进制费诺码。编码过程如下表。 该信源的熵为 平均码长为 编码效率为 本例中费诺编码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。