信息论信息理论与应用介绍.ppt

信源 Information source 离散信源和连续信源 无记忆信源和有记忆信源 核心问题：信源的消息中所包含的信息量以及信息如何度量。 编码器 编码其的功能把消息变成适合信道传输的信号： 信源编码器 （source encoder）：将信源消息变成符号，目的提高传输的有效性。最常见的电报系统的莫尔斯电码，原则常见消息用短的码字表示。 信道编码器（channel encoder）：给信源编码符号增加冗余符号，提高传输的可靠性。 调制器（modulator）：将编码器输出符号变成适合信道传输的信号，提高传输的效率，比如声音不变成电信号传输的距离很近。 信道 狭义信道 具体的物理信道，与介质相关 广义信道 一种逻辑关系或者通道 无噪声信道和有噪信道 AWGN信道 ：加性高斯白噪声信道 译码器 功能是从信号中恢复消息，包括 解调器 信道译码器 信源译码器 是编码的逆变换 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 通信的基本问题 在一点精确地或近似地恢复另一点所选择的消息。 通信系统的三项基本性能指标： 传输的有效性 最短的码字，单位的时间传输更多。 传输的可靠性：减少差错，降低错误率 传输的安全性：不被未授权的一方获取 数字通信的三项基本技术 数据压缩 数据纠错 数据加密 前两项：1948 香农的论文建立理论基础 第三项1945年：密码学的数学理论中给出，1949公开发表为保密系统的通信理论，奠定了现代密码学的理论基础，使密码学从艺术变成了科学。 香农建立了三项技术的理论基础，一般认为第三项属于密码学和信息安全的范畴，而前两项属于信息论的内容。 信息论的理解 狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道编码理论 一般信息论 噪声、滤波与预测、估计、保密等 广义信息论 所有与信息相关的领域 信息传输手段的五次重大变革 ① 语言产生：人们用语言准确地传递感情和意图，使语言成为传递信息的重要工具。 ② 文字产生：人类开始用书信的方式交换信息，使信息传递的准确性大为提高。 ③ 发明印刷术：使信息能大量存储和大量流通，并显著扩大了信息的传递范围。 ④ 发明电报电话：开始了人类电信时代，通信理论和技术迅速发展。这一时期还诞生了无线电广播和电视。更深入的问题：如何定量研究通信系统中的信息，怎样更有效、更可靠传递信息？ ⑤ 计算机与通信结合：促进了网络通信的发展，宽带综合业务数字网的出现，给人们提供了除电话服务以外的多种服务，使人类社会逐渐进入了信息化时代。 1924年，Nyquist提出信息传输理论； 1928年，Hartley提出信息量关系； 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论 信息论的形成和发展 1948年：信息论学科诞生 标志：1948年，香农发表论文“A mathematical theory of communication”。 同时维纳提出了最佳滤波理论，成为信息论的一个重要分支。 五十年代：信息论在学术界引起了巨大反响。 1959年：香农为各种信源编码的研究奠定基础：发表论文“Coding theorems for a discrete source with a fidelity criterion”，数据压缩理论与技术成为信息论的重要分支。 六十年代：信道编码技术有较大进展。信道编码成为信息论重要分支。 1961年：香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。 七十年代：有关信息论的研究，从点对点间的单用户通信推广到多用户系统的研究。密码学成为信息论重要分支。信息安全的重要性。 目前的发展 香农信息论： 信息概念的深化； 网络信息理论和多重相关信源编码理论的发展和应用； 通信网的一般信息理论研究； 信息率失真理论的发展及其在数据压缩和图像处理中的应用； 信息论在大规模集成电路中的应用； 磁记录信道的研究等。 纠错码理论：在工程方面应用及最优编码方法研究。 维纳信息论：对量子检测和估计理论、非参数检测和估计理论以及非线性检测与估计理论的研究。 * 可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。 * 暮春怀故人 * 贝尔实验室是晶体管、激光器、太阳能电池、发光二极管、数字交换机、通信卫星、电子数字计算机、蜂窝移动通信设备、长途电视传送、仿真语言、有声电影、立体声录音，以及通信网的许多重大发明的诞生地。 * 其实