信息论与编码课程介绍绪论.ppt

1.2信息论的形成与发展信息论的发展过程1948年，维纳出版了专著《控制论一动物和机器中的通信与控制问题》（Cybernetics），并创立了控制论。维纳从更加广阔的领域研究了信息，他认为信息是“我们在适应外部世界、控制外部世界的过程中同外部世界交换内容的名称。”他还认为：“接受信息和使用信息的过程，就是我们适应外部世界环境的偶然性变化的过程，也是我们在这个环境中有效地生活的过程。”信息论的发展过程1948年和1949年，美国著名数学家、贝尔实验室电话研究所的香农（ClaudeElwoodShannon，1916-2001，也译作申农）博士连续发表了两篇论文，即“通信的数学理论（MathematicalTheoryofCommunication）”和“在噪声中的通信”，他提出了信息量的概念和信息熵的计算方法，并因此被视为现代信息论的创始人。香农还给信息下了一个高度抽象化的定义：“信息是用以消除随机不确定性的东西。”50年代开始，IRE成立信息论组，出版信息论汇刊。1.2信息论的形成与发展1.2信息论的形成与发展信息论的形成与发展1959年，Shannon,信源压缩编码理论，“Codingtheoremforadiscretesourcewithafidelitycriterion”1961年，Shannon,“双路通信信道”，多用户理论-网络信息论1972年，Cover,广播信道1.2信息论的形成与发展三大定理无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）限失真信源编定理（第三极限定理）Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论---狭义信息论香农的生平、学术风格和习惯香农的生平、学术风格和习惯香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(ThomasAlvaEdison，1847-1931)还有远亲关系。12001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。21938年香农在MIT获得电气工程硕士学位，硕士论文题目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。3香农的生平、学术风格和习惯研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄）善于刻画问题本质白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。指出不要滥用信息论。香农有着非常好的学术眼光，香农一生论文不算太多，但是，不鸣则已，一鸣惊人，篇篇都是经典，许多都具有开拓性，他是信息时代的引路人和开拓者，被称FatherofInformationTheory。他也不提倡人们迷信权威，提醒人们不要滥用信息论，并且认为重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过度研究，而是强调转向有意义的研究领域，他反对跟风研究，强调自己在“自己的屋子里”做自己的、一流的、最高科学水平的工作。123456香农的生平、学术风格和习惯Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A.N.Kolmogrov，1963)。“数学家通常是先通过直觉来发现一个定理；这个结果对于他首先是似然的，然后他再着手去制造一个证明。”－－哈代已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。善于简化问题，建立模型。理论的作用是浓缩知识之树，“简单模型胜于繁琐的现象罗列”，“简单化才能显现出事物的本质，它表现了人的洞察力”。香农的生平、学术风格和习惯香农平时兴趣广泛，不仅做了许多研究，而且也喜欢动手制作各种设备，一生有许多杰出的制作发明。如受控飞碟、会走迷宫的机器鼠等。他具有很强的工程素养又精通数学，得天独厚的知识结构使他能把数学理论自如地运用于工程。*wemustkeepourownhouseinfirstclassorder.Thesubjectofinformationtheoryhascertainlybeensold,ifnotover