信息及香农信息论概述解读.ppt

香农信息论的局限性 狭义信息论（经典信息论） 主要研究信息的测度、信道容量及信源和信道编码理论等问题，又称香农信息论 一般信息论（工程信息论） 主要研究信息传输和处理问题。除香农理论以外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等 广义信息论 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题 √ 香农理论的局限性 Shannon Theory: dead or alive？ （香农信息论过时了吗？） “要知道，企望一次就能揭开自然界的全部奥秘是不切实际的。” 香农对自己理论的局限性有清醒的认识，他在1952年指出，“信息论肯定不是通信工作者医治百病的灵丹妙药，对于其他领域的人更是如此。实际上，信息论在核心本质上是数学的分支，是一个严密的演绎系统。信息论的基本结果都是针对某些特殊的问题，他们未必适合于心理学，经济学以及其他一些社会科学。” 因此，我们不能也不应该期望香农信息论能应用于任何领域。 1．1 信息论是何时创立的？创始人是谁？ 1．2 信息和物质、能量有什么联系与区别？ 1．3 从认识论层次上看，信息分成几个层次，这些层次的含义和它