信息论基础.pptVIP

信息论基础 参考书： Elements of Information Theory，Thomas M. Cover 清华大学出版社影印版 应用信息论基础 朱雪龙，清华大学出版社 信息论-基础理论与应用，傅祖芸，电子工业出版社 课程网站:ste.xidian.edu.cn/xxl/kcjs.htm 第一章 引论 第一章 引论 1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性 1.1 通信系统模型 通信系统模型 通信系统模型进一步细分 信息、消息和信号 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等 1.2 信息论研究的中心问题和发展 Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 信息论的研究内容 狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 Shannon理论 Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术 信息论几个方面的主要进展 I信源编码与数据压缩-关键理论进展的十个里程碑[Kieffer 1993] 无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shannon-McMillan定理(1953, B. McMillan)。 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 率失真理论系统化(1959, C. E. Shannon,)。 Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 通用信源编码理论系统化(1973, L. D. Davission)。 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。 发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。 Ⅲ．多用户信息论与网络通信 (1) 理论基础。两路通信系统(Shannon 1961)。 (2) 理论进展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian, Wolf, Wyner Liao(Universty of Hawaii), Han等。 (3) 技术成就。 CDMA(Virerbi, Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(rate splitting)、功率检测控制等(Verdu, Shamai and Rimoldi)。 STC(Space time code)，源于信息论考虑。 线性网络编码 合作编码技术 1.3 Shannon信息论的局限性 如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。 语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境” 不同的接收者对同一个东西得到的信息可能是不同的 Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。 1.4 信息论的广义性 信息论常被理解为包括更广的领域 语义学 语言学 神经生理学 心理学 组织学 信息的不同属性的定义产生不同的信息论 模糊信息论 量子信息论 生物信息论 信息复杂度的信息理论 课程内容 Chap2:信息的定义与性质 Chap3:DMS无失真编码定理和编码方法 Chap4:channel Capacity Chap5:channel codin