离散信息的度量-信息与通信工程.PPT

* 一个概念，三个定理 §1.2.2 仙农信息论 1．关于信源以及信息的含义和度量 　 信源限制为具有某一先验概率的随机过程；熵作为信源平均不确定性的度量。 2. 无失真信源编码定理（仙农第一定理） 如果编码后的信源序列信息传输速率不小于信源的熵，则可实现无失真编码，反之，不存在无失真编码。 3.有噪信道编码定理（仙农第二定理） 如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码。 §1.2.2 仙农信息论 4．限失真信源编码定理（仙农第三定理） 对任何失真测度 D ≥ 0，只要码字足够长，总可找到一种编码，使得当编码后信息传输率在≥ R（D）时，码的平均失真d ≤ D。R(D）称为信息率失真函数。 §1.2.2 仙农信息论 信息论的特点 1 以概率论、随机过程为基本研究工具； 2 研究通信系统的整个过程，而不是单个环节，并以编、译码器为重点； 3 关心的是最优系统的性能和怎样到达这个性能（并不具体设计系统）； 4 语法信息中的概率信息，要求信源为随机过程。 §1.2.2 仙农信息论 仙农信息论创立的背景 仙农的主要贡献 仙农信息论的研究进展 仙农信息论的应用 §1.3 仙农信息论研究的进展与应用 1. 技术背景 当时通信理论与技术已有较大发展，存在的主要通信技术与手段有：电报、PCM、扩频等。 2．理论背景 1948年以前，Nyquist，Hartley，Wiener，Rice做了许多有影响的工作。 §1.3.1仙农信息论创立的背景 1948年，发表《通信的数学理论》，奠定了信息论的理论基础； 1956年，发表The Zero-Error Capacity of a Noisy Channal 《噪声信道的零差错容量》，开创了零差错容量的研究领域； 1959年，发表Coding Theorem for a Discrete Source with a Fidelity Criterion 《在保真度准则下的离散信源编码定理》，推动了信息率失真理论研究； 1961年，发表Two-Way Communication Channels （《双路通信信道》），从而开拓了多用户理论的研究。 §1.3.2 仙农的主要贡献 1.无损数据压缩 理论基础是仙农第一定理 Huffman解决了固定到可变长度信源编码最小平均码长的码的构造，即Huffman编码 ?由A.Lempel和J.Ziv提出的方法（L-Z算法） 由F.Willems等提出了文本树加权编码方法 D.Slepian和J.Wolf提出相关信源编码是数据压缩理论的最重要的进展之一。 §1.3.3 仙农信息论的研究进展 2. 可靠通信 理论基础是仙农第二定理 ?S.Arimoto和R.Blaht提出计算离散无记忆信道容量的迭代算法 在高斯信道的研究方面 ?信道编码定理方面 仙农计算了有约束信道（仙农称做离散无声信道)的容量，并成为有约束序列编码的理论基础 零差错信道容量是仙农开辟的另一个研究领域 ?反馈信道 多用户信息论的理论 §1.3.3 仙农信息论的研究进展 3. 有损数据压缩 理论基础是信息率失真理论 率失真函数 编码定理 通用有损数据压缩 ?多端数据压缩等 §1.3.3 仙农信息论的研究进展 1.信息论是帮助工程师从全局的观点观察和设计通信系统理论方法； 2.信息论是从事信息产业研究与开发的必备的知识； 3.信息论尚不能适用所有的领域； 4.在最近几年信息论在其他领域的应用已获得很大的成功。 §1.3.4 仙农信息论的应用 仙农简介与学术风格 1. 仙农生平简介 April,30,1916，生于Gaylord ,Petosky,Michigan Thomas A.Edison 是他童年羡慕的英雄，数学和科学是他学习中的爱好. 1932年，进入密执安大学，1936年获电气工程和数学两个学士学位； 1936年，在MIT担任研究助理并成为MIT电气工程系研究生；用Bush分析器（早期的模拟计算机）解微分方程的工作； 1937年，提交硕士论文《继电器和开关电路的符号分析》，此文首次提出了可用于设计和分析逻辑电路的系统方法，是数字信号处理的里程碑之一，获1940年Afred Noble优秀论文奖。 1940年，获电气工程硕士学位和数学博士学位，博士论文《理论遗传学的代数》（未公开发表）。 1941-1956年，贝尔实验室； 1956年，MIT访问学者，第二年接受MIT永久聘任； 1978年，退休； February,24,2001，病逝。 仙农简介与学术风