信息及香农信息论教程分析.pptVIP

香农信息论的局限性 狭义信息论（经典信息论） 主要研究信息的测度、信道容量及信源和信道编码理论等问题，又称香农信息论 一般信息论（工程信息论） 主要研究信息传输和处理问题。除香农理论以外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等 广义信息论 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题 √ 香农理论的局限性 Shannon Theory: dead or alive？ （香农信息论过时了吗？） “要知道，企望一次就能揭开自然界的全部奥秘是不切实际的。” 香农对自己理论的局限性有清醒的认识，他在1952年指出，“信息论肯定不是通信工作者医治百病的灵丹妙药，对于其他领域的人更是如此。实际上，信息论在核心本质上是数学的分支，是一个严密的演绎系统。信息论的基本结果都是针对某些特殊的问题，他们未必适合于心理学，经济学以及其他一些社会科学。” 因此，我们不能也不应该期望香农信息论能应用于任何领域。 1．1 信息论是何时创立的？创始人是谁？ 1．2 信息和物质、能量有什么联系与区别？ 1．3 从认识论层次上看，信息分成几个层次，这些层次的含义和它们之间的关系如何？ 1．4 通信系统的主要性能指标是什么，如何衡量？如何提高这些性能指标？ 1．5 仙农信息论研究的是什么层次信息？研究的主要内容是什么？？ 1．6 通信系统模型分成几部分？各自的功能如何？ 1．7 仙农的三个编码定理的内容是什么？ 1．8 简述仙农信息论的研究进展。 1．9 如何理解学习仙农信息论的重要性？ 思考题 大作业： 《现代信息论的发展及其在通信中的应用》 要求： 1、2-4人一组共同完成，并指定组长 2、内容全面，结构完整，主题明确，逻辑清晰 3、四周内完成 4、学期末每人上交一份读书笔记，记录在每次作业中的分工、思路、灵感及引用内容出自哪部参考文献等。 5、至少参考五本书籍或文献。 6、抄袭记为零分。 7、学期末各组选择一次作业内容作为素材，制作PPT并进行答辩演讲。 思考题 * * 　　下面介绍熵的性质. 　　定义3.4 一个实值函数 f 称为在区间I上是凸　　　 的, 如果对任意的 ,都有 如果对任意的 ,都有 则称 f 称为在区间I上是严格凸的. * 引理3.1(Jensen不等式) 　　设 f 是区间I上的一个连续的严格凸函数,　并 且 , 则有 且上述等号成立的充要条件是 　　推论1 f (x)=logb x (b1)在区间x 0时是严格　　　 凸的,因而当实数 满足 且 有： 且等号成立的充要条件是诸pi全相等. 定理3.1 设b1,则有 且 ,都有 (2) 当且仅当 ,都有 (1) (3) 当且仅当存在 使得 * 定理3.1说明: (1) 结果确定的随机事件不提供信息量, 因而提供的信息量最少! (2) 可能结果等可能发生的随机事件提供 的包含的信息量最大! 这与我们的直觉是一致的! 例:设一个事件X和一个事件Y，其概率空间如下： 香农信息论及应用 可见，事件Y的不确定性要比事件X大 (比特/符号) (比特/符号) 则信息熵分别为 香农信息论及应用 通信的基本问题是什么？ ——高速度(可靠性)、高质量(有效性)的传送信息 第一、在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息 ——信源编码 第二、在信道受干扰的情况下，如何增强信号的抗干扰能力，同时又使信息传输率最大 ——信道编码 一、香农第一定理 二、香农第二定理 三、香农第三定理 香农信息论及应用 一、香农第一定理 二、香农第二定理 三、香农第三定理 香农信息论及应用 1、香农第一定理（可变长无失真信源编码定理） 定理4.1 设 为q元离散无记忆信源S的N次扩展 信源