第五章 编码定理.pptVIP

第五章 编码定理 5.1 引言 5.2 无失真离散信源编码定理 5.3 限失真信源编码定理 5.4 离散信道编码定理 5.5 连续信道编码定理 5.2 无失真离散信源编码定理 信源编码：将信源输出的随机序列变换成码序列， 且能进行反变换或译码，同时使传送码序列所需的 信息率最小。 一、等长信源编码定理 信源符号Si（i=1,2, ‥‥ q） 码字Wi（i=1,2, ‥‥q） 若Wi中的码元有r种可能的取值，码长为l 则对S进行等长编码，须满足 q ≤ rl 根据随机序列aN的切比雪夫不等式，显然： ① ② 假设 中的序列有 个，且： 即： 因此序列概率必然满足条件： 序列处于 集中的概率必为集内各序列aN的概率 之和： 将 式代入②式，得： ③ 以上为正定理部分的证明。 利用表达式： ④ 当 N→∞时，由④式得： →0 绝大部分在 中的序列已 无对应的码字，译码一定出错 在N→∞时，由①式得 →1 全部序列几乎都落入 集，且无对应的码字，故译 码错误概率趋于1。完成逆定理的证明。 小 结: 当每个信源符号必须输出的信息率为 R＝（l /N ）log r 时，只要RH(S)，这种编码一定可以做到几乎无失真； 反之，当RH(S)时，不可能构成无失真的编码； R＝H(S)时，为临界状态。 例：已知某信源 可以求得H(S)=2.5524比特/符号及方差 若要求编码效率为90%，即 设译码差错为： 信源符号序列长度必须满足： 可见，差错率与编码效率要求并不高时，必须把108个符号 一起编码才可满足要求，这不便于工程实现。 三、离散信源变长编码定理 1、平均码长的概念 设信源： 编码后的码字： 对应的码长： 则平均码长： （码符号/每信源符号） 平均码长是每个信源符号平均需用的码元数。 平均每个码元携带的信息量（编码后所需信道的信息传输率）： R＝ 若传输一个码符号平均需要t秒钟，则编码后信道每秒钟传输的信息量为： 显然，平均码长越短，则Rt越大，信息传输效率就越高，编码中使平均码长为最短的码是人们感兴趣的。 最佳码： 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳码或紧致码。 无失真信源编码的基本问题就是要找最佳 码，变长码的编码定理确定了最佳码的平 均码长可能达到的理论极限。 2、按符号变长编码定理 若一离散无记忆信源的符号熵为H(S)，每个信源符号用r元码元进行变长编码，则一定存在一种无失真编码方法，构成唯一可译码，其平均码长满足： 以上定理给出了平均码长的上、下界，平均码长不能小于下界 否则唯一可译码不存在。 3、无失真变长信源编码定理（香农第一定理） 对于平均符号熵为H(S)的离散平稳无记忆信源， 必存在一种无失真编码方法，使平均信息率满足 不等式：H(S) ≤R＜H(S)＋∈，∈为任意正数 或平均码长满足： 对香农第一定理的理解： 若R＞H(S)，就存在唯一可译变长编码； 若R＜H(S)，唯一可译变长编码不存在，不能实现 无失真的信源编码。 香农第一定理的物理意义： 无失真信源编码的实质就是对离散信源进行适当 的变换，使变换后新的码符号信源（信道的输入 信源）尽可能为等概率分布，以使新信源的每个 码符号平均所含的信息量达到最大，从而使信道 的信息传输率R达到信道容量C，实现信源与信道 理想的统计匹配。 定义变长码的编码效率为： 3、变换编码 特点：将原来的信号空间变换为另外一个空间。 如Fourier（傅里叶）变换、Haar（哈尔）变换、 Walsh-Hadamard（阿达玛）变换（简称DWHT）、 Slant变换