第一讲信息熵.pptxVIP

教材和参考书： 傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版. 孟庆生《信息论》，西安交通大学，1986。 （数学家写的研究生教材，含编码和密码） 朱雪龙《应用信息论基础》，清华大学出版社,2000。 （研究生教材，面向电子类，含编码方法。） 王育民、梁传甲《信息与编码理论》，西电教材。 （内容深入，推导过程少） 沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类）T. M. Cover J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2003。（内容简练，编码方面较全） * J.H.Van Lint 《Introduction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材： 在广义信息论、网络信息论方面的内容有所增加。第一讲 信息熵 1-1信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质1－1. 信息论的主要内容香农信息论最初是为了解决通信问题而提出的。通信的重要意义是勿庸置疑的。人类传递思想、表达情感，就需要相互交流。人类的劳动、生产、政治、文化、日常生活等都离不开通信。人类利用眼、耳、鼻、舌、身等五种感觉器官来感受外界的信息，形成一个信息流通的体系。通信方式的不断提高，代表了人类文明和科技水平的不断提高。 信源信道信宿干扰源通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。通信系统的基本模型： 为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理；有没有可靠的、有效的处理方法？如何进行编码？香农信息论奠定了通信的理论基础。信息是消息的不确定性度量。某消息出现的概率大，它的信息量就小， 相反，某消息出现的概率小，则它的信息量就大。通信的关键是信息的传输问题。信源编码：实现有效性；信道编码：实现可靠性；密码：实现保密性及认证性；信源信道信宿信源编码信道编码信道译码信源译码干扰源加密解密加密钥解密钥提出的背景： 在香农信息论出现以前，没有系统的通信理论。是香农，开创了信息论的研究，奠定了一般性通信理论的基础。对数字通信技术的形成有很大贡献。 （不论什么样的干扰信道，抓住了本质问题。）( Shannon, 1916－2001)“ A Mathematical Theory of Communication ”“ Communication Theory of Secrecy System ”About Claude Elwood Shannon: 1916年生于 Gaylord, MI 的一个小镇。母亲是一个语言教师和中学校长，父亲是一个商人。 16岁高中毕业，进入密西根大学。1936年获得电子工程和数学双学士学位。随后进入 MIT，作为研究生和研究人员。一年后，完成布尔代数用于开关电路的硕士论文。1940年完成“关于遗传学的代数”的博士论文。 1941年以后进入 Bell 实验室。(新理论和技术的摇篮) 1945年写出“密码学的数学理论”，1949年正式出版，名为“保密系统的通信理论”。1948年发表“通信系统的数学理论”。其后又取得通信、人工智能等多方面的成果。信息C－信道容量信号信源信道信宿信源熵 H信源编码 R ’ H信源解码信道解码信道编码 R CR’－编码信息传输率R －信道信息传输率噪声NnLL/NL/n 香农信息论主要讨论如下内容： 1、围绕信息的度量所展开的讨论。这是信息论建立的基础， 给出了各种信息量和各种熵的概念； 2、围绕无失真信源编码所展开的讨论。最主要的结论是 香农第一定理以及各种信源编码方法 。 3、围绕信道编码所展开的讨论。它给出了信息传输率、 信道容量等概念，最主要的结论是香农第二定理，以及 基于该定理的各种信道编码，如分组码、卷积码等。 4、围绕带限信道传输的能力所展开的讨论，最主要的结论 是信道容量公式，即香农公式。 5、 基于信息传输时允许一定程度的失真和差错所展开 的讨论。由此得到信息率失真理论、香农第三定理、 信息价值等。这是目前还在不断发展和完善的理论， 在通信以外得学科不断得到应用。 6、 围绕通信网的发展带来的信息传输问题展开的讨论。 即网络信息理论，随着通信网、因特