西安电子科技大学信息论与编码理论（专题讨论型）课件第一章 信息论的对象与方法.pptVIP

Claude Shannon (1916-2001) Claude Shannon (1916-2001) Shannon所给出的编码定理的证明是非构造性的，所给出的证明也不够严格，但“他的数学直观出奇地正确” (A. N. Kolmogrov，1963)，他是“最近几十年最伟大的工程师之一，同时是最伟大的数学家之一。” 经过无数科技工作者50年来的努力奋斗，人们不仅在数学上已严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 文章曾遭受到数学家的抨击，责难Shannon的一些结果未经证明，在数学上不严格，靠不大住。Shannon对此评论说，“我不喜欢他的评论，他并未仔细看这篇文章。我确信我是正确的，我清楚地知道我所做的。” Claude Shannon (1916-2001) 为了表彰Shannon的伟大功绩，IEEE Information Society的25名成员于2000年10月6日在儿童时代的老家Gaylord镇举行了Shannon塑像的落成典礼。 著名信息论和编码学者Dr. Richard Blahut 在Shannon塑像的落成典礼时的题词说：“在我看来，两三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统。他们也不会记得谁曾是影星或摇滚歌星。但是仍然会知晓Shannon的名字。学校里仍然会讲授信息论。” Claude Shannon (1916-2001) 他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是白天关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。” 1.? 兴趣驱动，淡漠名利 ? ? 自述道：“我总是受我的兴趣驱动，不大关心其经济价值或对于世界的价值。” 2.? 探索股市，变得富有 ? ? 思索股票价格起伏的规律性和信息论应用于投资的可能性。 在投资股票方面很成功，并变得富有。 3.? 心灵手巧，善制机器 ? ? 制作计算器Throbac和玩六连棋的机器Hex。 研究计算机下棋、老鼠走迷宫、杂技演员最多能控制多少个球，要抛多高才行？机器解魔方问题以及用计算机研究和进行股票投资等。 4.? 酷爱杂技，乐在其中 ? ? 曾制作杂耍机，成为杂耍机器人的先驱。  Shannon的大师风范 Claude Shannon (1916-2001) 1924年 奈奎斯特 “影响电报速率的一些因素” 1928年 哈特莱 “信息的传输” －信息速率与信道带宽成正比 －给出了信息度量方法 1936年 阿姆斯特朗 －增大带宽可以提高抗干扰能力 1948年 Shannon “通信的数学理论” －用概率论的方法研究通信系统，是现代信息论开创性的权威论文 信息论的形成 1948年香农提出了无失真信源定理，给出了简单的编码方法(香农编码) 1952年Fano码，Huffman码 1968年埃利斯(P．Elias)提出了算术编码的初步思路; 1976 Rissanen给出和发展了算术编码 1982年他和兰登(G．G．Langdon)一起将算术编码系统实现化 1977,1978年Ziv和Lempel的LZ通用信源编算法 无失真信源编码发展 1959年，Shannon提出率失真函数和率失真信源编码定理 1971年，伯格尔(T．Berger)给出更一般信源的率失真编码定理 率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础 目前，已提出多种限失真编码方案如音频、视频:MPEG,JEPG等 率失真信源编码发展 1950年汉明码 1960年卷积码的概率译码，Viterbi译码 1982年Ungerboeck编码调制技术 1993年Turbo编译码技术 目前，已构造出性能接近香农限的好码，如Turbo(PCC,SCC,TPC,LDPC) 码 信道编码发展 香农在1949年发表的“保密通信的信息理论”论文中，首先用信息论的观点对信息保密问题作了全面的论述。 1976年迪弗(Diffe)和海尔曼(Hellman)发表了“密码学的新方向”一文，提出了公开密钥密码体制，保密通信问题才得到广泛研究。 人们把初等数论、矩阵、近世代数等引入保密问题的研究，已形成了独树一帜的分支——密码学理论。 密码学发展 1.4 目前信息论的 主要研究成果 信息论的主要研究成果 语音信号压缩 长途电话网标