1第一讲信息熵.pptVIP

5、可加性与强可加性： （涉及到了两个变量！） H（XY）为两个随机变量的联合熵。 可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵。 对于 X 与 Y 独立的情况有： （强可加性） * * 信息论基础 2011 年 3 月 教材和参考书： 傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版. 孟庆生《信息论》，西安交通大学，1986。 （数学家写的研究生教材，含编码和密码） 朱雪龙《应用信息论基础》，清华大学出版社,2000。 （研究生教材，面向电子类，含编码方法。） 王育民、梁传甲《信息与编码理论》，西电教材。 （内容深入，推导过程少） 沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。 周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类） T. M. Cover J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。 R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2003。（内容简练，编码方面较全） * J.H.Van Lint 《Introduction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134， 新的教材： 在广义信息论、网络信息论方面的内容有所增加。 第一讲 1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质 信息熵 1－1. 信息论的主要内容 香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。 人类传递思想、表达情感，就需要相互交流。 人类的劳动、生产、政治、文化、日常生活等都离不开通信。 人类利用眼、耳、鼻、舌、身等五种感觉器官来感受外界的信息，形成一个信息流通的体系。 通信方式的不断提高，代表了人类文明和科技水平的不断提高。 通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。 信源 干扰源 信道 信宿 通信系统的基本模型： 为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理； 信源编码：实现有效性；信道编码：实现可靠性； 密码：实现保密性及认证性； 有没有可靠的、有效的处理方法？如何进行编码？ 香农信息论奠定了通信的理论基础。 信息是消息的不确定性度量。某消息出现的概率大，它的信息量就小， 相反，某消息出现的概率小，则它的信息量就大。通信的关键是信息的传输问题。 信源 信源编码 信宿 信道 信道编码 信道译码 信源译码 加密钥 加密 解密钥 解密 干扰源 提出的背景： 在香农信息论出现以前，没有系统的通信理论。 是香农，开创了信息论的研究，奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。 （不论什么样的干扰信道，抓住了本质问题。） ( Shannon, 1916－2001) “ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ” About Claude Elwood Shannon: 1916年生于 Gaylord, MI 的一个小镇。母亲是一个语言教师和中学校长，父亲是一个商人。 16岁高中毕业，进入密西根大学。1936年获得电子工程和数学双学士学位。随后进入 MIT，作为研究生和研究人员。一年后，完成布尔代数用于开关电路的硕士论文。1940年完成“关于遗传学的代数”的博士论文。 1941年以后进入 Bell 实验室。(新理论和技术的摇篮) 1945年写出“密码学的数学理论”，1949年正式出版