YN第1章信息论与编码理论教案.pptVIP

* * * * * * * * * Shannon理论 Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术 消息伴随着可以量化的信息——熵、平均互信息 信源发出的消息有冗余度，因此可进行信源编码，熵是无失真信源编码的最低极限 噪声使信道可靠传输能力受限，提出信道可靠传输能力——信道容限 为可靠通信，通过增加冗余进行信道纠错编码，信道容限是错误足够小的信道编码的临界上限 干扰源 信源 信道 信宿 1.3信息论几个方面的主要进展 Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 1信源编码与数据压缩-关键理论进展的十个里程碑[Kieffer 1993] 无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shannon-McMillan定理(1953, B. McMillan)。 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 率失真理论系统化(1959, C. E. Shannon,)。 Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 通用信源编码理论系统化(1973, L. D. Davission)。 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。 发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。 信道编码与差错控制技术 1．Shannon信道编码定理和Shannon极限。 Shannon编码信道定理: RC，存在编码方法可任意小的错误率传递速率为R的信息，码长N要足够大。 RC 不存在有编码方法实现满足误码率要求的速率为R的传信。 Shannon 证明码长N大时，随机选择的码以很高概率为好码。 问题：Shannon的证明是非构造性，如何构造好码实现定理目标? 实现ML译码的复杂性随N呈指数增长。 3．多用户信息论与网络通信 (1) 理论基础。两路通信系统(Shannon 1961)。 (2) 理论进展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian, Wolf, Wyner Liao(Universty of Hawaii), Han等。 (3) 技术成就。 CDMA(Virerbi, Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(rate splitting)、功率检测控制等(Verdu, Shamai and Rimoldi)。 STC(Space time code)，源于信息论考虑。 线性网络编码 合作编码技术 过去50年中Shannon信息论已取得巨大、丰富的理论和技术成果，在未来的50年中，Shannon信息论将继续繁荣还是趋向衰落和消亡? 在过去50年中也曾几次出现过类似的争论。如果信息论继续推动技术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近30年来的物理学所经受的萧条。 当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。 Internet通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。 4 未来的趋势 Shannon信息论在研究方法上的启示 1. 理论与实际的关系。五十年信息论发展的历史证明，理论必须结合(扎根于)实际才有旺盛的生命力。 2．简化模型。理论的作用是浓缩知识之树， “简单模型胜于繁琐的现象罗列”， “简单化才能显现出事物的本质，它表现了人的洞察力”。 好的性能量度和复杂性的量度（信息量、熵、信道容量、商品等），常会引导出优秀的理论结果和令