信息论编码田宝玉chapter1.ppt

随机的译成接收端符号表中第8到第16个符号中的任意一个。总译码正确率为7/16+1/16=1/2，所以错误率也为1/2，即编码失真为1/2。如果用最优二元编码（例如，Huffman编码）可以计算，编码的平均码长可达2.25比特，小于4比特。但是，在理论上，同样的信源，为实现1/2差错率的信源编码最小的码长由R(D)函数来决定，为1.05比特。 与无失真信源编码类似，限失真信源编码定理解决了有损压缩极限的理论问题，也未给出实际的有损信源编码的方法。在各种失真度准则下对信源R（D）函数的研究，利用率失真理论对实际有损压缩编码性能的分析，寻找接近或达到理想有损压缩的信源编码方法是该领域研究的主要问题。 5. 信息论特点 以概率论、随机过程为基本研究工具； 研究通信系统的整个过程，而不是单个环节，并以编、译码器为重点； 关心的是最优系统的性能和怎样到达这个性能（并不具体设计系统）； 语法信息中的概率信息，要求信源为随机过程。 §1.3 仙农信息论研究的进展与应用 本节主要内容： 仙农信息论创立的背景 仙农的主要贡献 仙农信息论的研究进展 仙农信息论的应用 1.3.1 仙农信息论创立的背景 仙农的信息论的创立主要是由于仙农的杰出贡献，但也与当时的技术发展背景和前人的工作密不可分。当时通信理论与技术已有较大发展，存在的主要通信技术与手段有：电报(Morse,1830’s)、电话(Bell,1876)、无线电报(Marconi,1887)、AM 无线电(1900’s 早期)、单边带调制(Carson,1922)、电视(1925-1927)、电传(1931)、调频(Armstrong,1936)、脉码调制(Reeves,1937-1939)、 声码器(Dudley,1939)、 扩频(1940’s)等。 1948年以前，Nyquist，Hartley等人也做了许多有影响的工作。例如Nyquist发现传输速率正比于在单位时间信号电平数目的对数（1924）；Hartley提出“传输速率”，“码间干扰”，“系统传输信息的容量”等术语；Wiener，Rice等人把随机过程作为通信工程师的工具。所有这些都为信息理论的建立产生了重要影响 热力学对仙农信息论的创立产生很大影响，仙农提出用熵作为信息的度量，实际上也参考了热熵的概念。对热熵的认识主要有三个阶段：最早由克劳修斯提出宏观熵的公式：S=Q/T，其中S为熵的变化，Q为宏观系统热量的变化，T为绝对温度。波尔兹曼提出微观系统的熵和微观系统状态数的对数成正比，后来由普郎克总结成公式：S=klog，其中k为波尔兹曼常数，为系统的微观系统状态数，该公式称为波尔兹曼方程。吉布斯提出在微观系统状态概率不等情况下的热熵计算公式：S =-kipilogpi，该公式称为吉布斯方程。除常数k外，仙农熵和吉布斯方程的热熵表达式相同。 1.3.2 仙农的主要贡献 在信息论的产生与发展过程中仙农所起的作用是关键性的，主要列举如下： 1948年，发表《通信的数学理论》，奠定了信息论的理论基础。 1956年，发表《The Zero-Error Capacity of a Noisy Channal 》（《噪声信道的零差错容量》），指出当不允许有任何传输错误时，信道编码的概率方面问题消失，而仅保留图论方面的问题，开创了零差错容量的研究领域。 1959年，发表《Coding Theorem for a Discrete Source with a Fidelity Criterion 》 （《在保真度准则下的离散信源编码定理》），给出率失真定理的简单详细的证明，然后推广到更一般的信源和失真测度，最后到模拟信源，推动了信息率失真理论研究。 1961年，发表《Two-Way Communication Channels 》（《双路通信信道》），将信息论应用到连接两个点A、B的信道，其中A、B需要双向通信，但两个方向互相干扰的情况，证明了信道的容量区域是凸的，并建立了此区域的内外边界，从而开拓了多用户理论（现称做网络信息论）的研究。 1.3.3 仙农信息论的研究进展 五十多年来，无论是理论方面，还是应用方面，仙农信息论得到很大的发展。可分以下四个方面来叙述。 1．信息的量度 仙农熵作为信息的量度，是信息论中最重要的概念，在这方面有两个重要研究内容，一是以仙农熵为基础，研究信源信息熵的估计方法，二是将信息熵用做推断工具的最大熵原理，另外就是提出新的信息量度方法，以适应新的应用，主要进展如下： （1）信息熵的估计 自从仙农信息论创立以来，已经提出了多种信息熵估计方法，并得到广泛应用，信息熵估计技术就是研究的热点之一。当