信息论2016答案.ppt

Shannon Theory dead or alive 信息论的主要贡献 把统计信息定义为“用来消除信息接收者某种认识上的不定性的东西”，并给出了其度量公式：熵和互信息； 建立了一些重要的性能界： 信源输出的最大可能的信息量 满足一定失真度的要求所必须传递的 最小信息量 信道最大可能通过的能力等 建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段发展到科学高度。 五.知识要点 掌握信息论的基本概念：熵、互信息和鉴别信息。 了解信息论针对信息传输、存储及压缩的基本理论。 了解信息准则取代最小二乘（均方差）准则作为信息工程的普遍准则，掌握其应用方法。 六.参考书目 朱雪龙，应用信息论基础。清华出版社，2001年。 傅祖芸，信息论—基础理论与应用。电子工业出版社，2001年。 周炯槃，信息理论基础。人民邮电出版社，1983年。 沈连丰 等，信息论与编码，科学出版社，2004年 熵(Entropy) 1.1 不确定性与自信息 对于通信系统，其传递的信息是具有随机性。定量描述信息应基于随机事