01基础算法思想.ppt

* 网络资源：数据、信息、知识资源、计算资源、传输资源、存储资源、应用（软件）资源和人机接口资源等；网络资源的不稳定性严重阻碍了网络资源的最大化共享服务与流通。 信息资源：数据，信息，知识 信息基础设施资源：网络拓扑，网络计算，网络存储，网络传输 人-机-人交互：人对信息的交互，人对信息基础设施的交互，人-人的交互（互操作） 四.香农理论的局限性 “要知道，企望一次就能揭开自然界的全部奥秘是不切实际的” 。 香农对自己的理论的局限性有清醒的认识，1952年他说： “ 信息论肯定不是通信工作者的灵丹妙药，对于其他领域的人更是如此。实际上，信息论在核心本质上是数学的分枝，是一个严密的演绎系统。信息论的基本结果都是针对某些特殊的问题，他们未必适合于象心理学，经济学其他以及一些社会科学。” Shannon Theory dead or alive 信息论的主要贡献 把统计信息定义为“用来消除信息接收者某种认识上的不定性的东西”，并给出了其度量公式：熵和互信息； 建立了一些重要的性能界： 信源输出的最大可能的信息量 满足一定失真度的要求所必须传递的 最小信息量 信道最大可能通过的能力等 建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段发展到科学高度。 五.知识要点 掌握信息论的基本概念：熵、互信息和鉴别信息。 了解信息论针对信息传输、存储及压缩的基本理论。 了解信息准则取代最小二乘（均方差）准则作为信息工程的普遍准则，掌握其应用方法。 六.参考书目 朱雪龙，应用信息论基础。清华出版社，2001年。 傅祖芸，信息论—基础理论与应用。电子工业出版社，2001年。 周炯槃，信息理论基础。人民邮电出版社，1983年。 沈连丰 等，信息论与编码，科学出版社，2004年 BIBLIOGRAPHY Cover Thomas M, Thomas Joy A. Elements of Information Theory. John Wiley and Sons.Inc.,1991. Roman Steven. Coding and Information Theory. New York: Springer-Verlag,1992. McEliece Robert J. The Theory of Information and Coding: A Mathematical Framework for Communication. Addison Wesley Publishing Company, 1977. Sergio Verdu. Fifty Years of Shannon Theory. IEEE Tran.on Inf. Theory. Vol. 44, No.6, 1998. Robert G. Gallager. Claude E. Shannon: A Retrospective on His Life,Work,and Impact. IEEE Tran.on Inf. Theory. Vol. 47, No.7, 2001. 第一章 信息论的基本概念 熵(Entropy)与互信息(Mutual Information) 1.1 不确定性与自信息 1.2 Shannon 离散熵 § 1.2.1 单变量熵函数 § 1.2.2 形式的唯一性 § 1.2.3 的性质 § 1.2.4 最大离散熵定理 1.3 离散互信息 § 1.3.1 概念 § 1.3.3 互信息函数的性质 § 1.3.2 多变量情况下的互信息 1.4 连续随机变量的熵和互信息 § 1.4.1 随机变量微分熵 § 1.4.2 随机变量函数的微分熵 § 1.4.3 互信息 § 1.4.4 微分熵的变换不变性 2. 鉴别信息(Discrimination Information) 2.1 随机变量分布差异性的量度 § 2.1.1 假设检验与对数似然 § 2.2.