信息论基础介绍.pptVIP

信息论基础 参考书： Elements of Information Theory，Thomas M. Cover 清华大学出版社影印版 应用信息论基础 朱雪龙，清华大学出版社 信息论-基础理论与应用，傅祖芸，电子工业出版社 课程网站:ste.xidian.edu.cn/xxl/kcjs.htm 第一章 引论 第一章 引论 1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性 1.1 通信系统模型 通信系统模型 通信系统的基本任务要求 可靠: 要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端 有效: 用尽可能短的时间和尽可能少的设备来传输最大的消息 通信系统模型进一步细分 等效离散信道 等效离散信源 等效信宿 信道编码器 信道译码器 信息、消息和信号 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等 1.2 信息论研究的中心问题和发展 Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 信息论的研究内容 狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 Shannon理论 Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术 信息论几个方面的主要进展 Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 参见课程网站:信息论进展50年 I信源编码与数据压缩-关键理论进展的十个里程碑[Kieffer 1993] 无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shannon-McMillan定理(1953, B. McMillan)。 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 率失真理论系统化(1959, C. E. Shannon,)。 Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 通用信源编码理论系统化(1973, L. D. Davission)。 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。 发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。 信道编码与差错控制技术 1．Shannon信道编码定理和Shannon极限。 Shannon编码信道定理: RC，存在编码方法可任意小的错误率传递速率为R的信息，码长N要足够大。 RC 不存在有编码方法实现满足误码率要求的速率为R的传信。 Shannon 证明码长N大时，随机选择的码以很高概率为好码。 问题：Shannon的证明是非构造性，如何构造好码实现定理目标? 实现ML译码的复杂性随N呈指数增长。 Ⅲ．多用户信息论与网络通信 (1) 理论基础。两路通信系统(Shannon 1961)。 (2) 理论进展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian, Wolf, Wyner Liao(Universty of Hawaii), Han等。 (3) 技术成就。 CDMA(Virerbi, Qaulecom)的技术问题：联