[2018年最新整理]信息论与编码2012.pptVIP

信息论与编码基础 香农三大定理 简介 说明： 1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点， 为信道编码理论和技术的研究指明了方向。 2、定理仅指出编码的存在性，未给出编码的具体方法。 3、定理指出：RC是可靠传输的必要条件，但并未指出编码 序列无限长是可靠传输的必要条件。 3、香农第二定理（有噪信道编码定理） AWGN 1)Turbo码：1/2码率，BPSK，65536随机交织， 18次迭代，Pe=10-5, Eb/N0 = 0.7dB 2)非规则LDPC码：N = 107, 1/2码率， Pe=10-5, Eb/N0 = 0.0045dB 4、香农进一步证明：R=C时，任意小的差错概率也是可以达 到的。 证明基本条件：1）随机编码 2）码长→∞ 3）最大似然译码 信息论与编码基础 香农三大定理 简介 一、香农第一定理 三、香农第三定理 二、香农第二定理 不大于一定编码速率的条件下，使平均失真限 制到最小； 在平均失真不大于某个值的条件下，使编码 速率限制到最小 信息论与编码基础 香农三大定理 简介 信息率失真理论 1、失真度与信息率失真函数 a、系统模型 信息论与编码基础 香农三大定理 简介 信源 信源编码器 无噪信道 信源编码器 信宿 试验信道 U V b、失真测度 1）单符号失真测度 设 定义失真矩阵 信息论与编码基础 香农三大定理 简介 1、失真度与信息率失真函数 如果规定 ，那么失真矩阵为 N=3时，失真度如图 U V 信息论与编码基础 香农三大定理 简介 1、失真度与信息率失真函数 b、失真测度 2)序列失真测度 设序列 定义序列失真测度为 信息论与编码基础 香农三大定理 简介 1、失真度与信息率失真函数 b、失真测度 3)平均失真 单符号平均失真 序列平均失真 信息论与编码基础 香农三大定理 简介 1、失真度与信息率失真函数 b、失真测度 c、信息率失真函数 信息论与编码基础 香农三大定理 简介 1、失真度与信息率失真函数 定义 信息率失真函数 0 P(v|u) I(U;V) R(D) 最佳编码 最佳编码 信息论与编码基础 香农三大定理 简介 信息率失真函数性质 1）当D0时,R(D)无意义 2）存在一个Dmax，使D Dmax时,R(D)=0 3）R(0)=H(X) 4）在0D Dmax范围内,R(D)是正的、连续的下凸函数 R(D) D H(X) Dmax 0 二、香农第三定理（保真度准则下的信源编码定理） 定理4.3 设 为一离散无记忆信源的信息率失真函数， 并且有有限的失真测度D,则对于任意 ，以及任 意长的码长k，一定存在一种码字个数为 的信 源编码，使编码后码的平均失真度 信息论与编码基础 香农三大定理 简介 表述二： 设 为一离散无记忆信源的信息率失真函数，并且规定 了有限的失真测度，对于任意的 则： 1）若给定了失真D，且 ，则存在长度 为k的码，它的平均失真度 2）若 时，无论采用什么编码，其平均失真大于D 信息论与编码基础 香农三大定理 简介 二、香农第三定理（保真度准则下的信源编码定理） 几点讨论 1）R(D)确定是保真度准则条件下，信源信息率压缩的下限。 2）R(D)在实际工程中可以作为衡量各种压缩编码方法性能 优劣的一种标尺。 3）是一种存在定理，其实际应用有待于进一步研究： a)如何计算符合实际信源的信息率失真函数R(D)？ b)如何寻找最佳编码方法才能达到信息压缩的极限值R(D)？ 二、香农第三定理（保真度准则下的信源编码定理） 信息论与编码基础 香农三大定理 简介 信 源 信 宿 限 失 真 信 源 编 码 器 限 失 真 信 源 译 码 器 无 失 真 信 源 编 码 器 无 失 真 信 源 译 码 器 信 道 编 码 信 道 译 码 A B C D E F G H 信道 一般通信系统框图 信息论与编码基础 香农三大定理 简介 信息论与编码基础 香农三大定理 简介 香农第二定理（有噪信道编码定理） R ≤ C 信息率失真函数 香农第三定理（保真度准则下的信源编码定理） R ≥ R(D) R?H(S) 香农第一定理（可变长无失真信源编码定理） 信道容量 信源熵 香农 公式 信息论“三大定理”总结 香农信息论的三个基本概念—信源熵、信道容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。 香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事