《信息论与编码》绪论-信源及信源熵.docVIP

第1次课 第一章 绪论 简单介绍本课程 教学重点和计划 信源及信源熵：约8学时 无失真信源及无失真信源编码：约8学时 限失真信源及限失真信源编码：约8学时 信道及信道容量、信道编码：约12学时 密码学：约8学时 参考书 1）信息论及信息处理，吴伟陵，人民邮电出版社 2）信息论—基础理论与应用，傅祖芸编著，电子工业出版社，2001 3）信息理论与编码，姜丹，钱玉美编著 4）信息论基础教程，李亦农编著，北京邮电大学出版社，2005 §1 信息的概念 信息这一概念是在人类社会互通情报的实践过程中产生的。信息在发展过程中主要经历了五次大的革命： 1、声音、手势及语言； 2、文字符号进入人类社会； 3、印刷术提供了新的信息活动手段：增大了信息的传播范围； 4、电磁波开始传播信息：加快了传播速度； 5、计算机与通信的完美结合。 推动信息革命和信息技术发展的三项技术： 微电子技术—信息技术的“细胞” 通信技术—信息技术的神经 计算机技术—信息技术的大脑 信息科学是一门综合性学科，它是研究信息及其运动规律的科学。其内容包括：信息的本质及其度量，信息的产生、获取、传播、处理和施效的规律。研究的目的是扩展人类获取和利用信息的能力。 信息技术是运用信息科学的研究成果来解决生产实际问题，包括： 感测技术（信息获取） 通信技术（信息传输） 计算机技术（信息处理） 自动控制技术（信息施效） 信息产业是专门从事信息生产、传播、出售和服务的产业，包括：信息技术设备制造、信息服务等。 信息的定义 我国学者钟义信教授对信息的定义为：信息就是在事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的认识。 信息是事物的状态和状态变化的方式。 信息是无形的 信息是可共享的 信息是可扩充的 信息是可以度量的 分析通信过程，通信的目的不外有两种情形：一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。也就是说，对方在关于这个信息的知识上存在着不确定性；另一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。在前一种情况下，如果估计对方已经了解所欲告之的消息，就没有必要通信了；在后一种情况，如果自己没有疑问，当然就不必询问了。 这里所谓“疑问”、“不知道”，就是一种知识上的“不确定性”，即对某个事情的若干种可能结果，或对某个问题的若干可能答案，不能做出明确的判断。 因此可以把作为“通信的消息”来理解的“狭义信息”，看作(或明确定义)为一种用来消除通信对方知识上的“不确定性”的东西。引伸出一个十分重要而关键的结论：接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量(或减少量)。这就是信息理论中度量信息的基本观点。 那么，很自然地接着要问这样一个问题：这就是，“不确定性”本身是否可度量？是否可用数学方法来表示呢？而不确定性是与“多种结果的可能性”相联系的，在数学上这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。可见，“不确定性”与概率的大小存在着一定的联系，“不确定性”应该是概率的某一函数；那么，“不确定性”的消除量(减少量)，也就是狭义信息量，也一定可由概率的某一函数表示。这样就完全解决了作为“通信的消息”来理解的“狭义信息”的度量问题。 这个问题先放在这，我们到底用什么样的数学公式来度量信息，这个公式是否是唯一的？以及如何度量？这是我们下一步要解决的疑问。 §2 信息论的研究对象、目的和内容 信息论的奠基人——香农 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 这是数学家香农（Claude E.Shanon）在他的惊世之著《通信的数学理论》中的一句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来他就职于贝尔电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受着前辈的工作的启示，其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 香农则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是上面提到的那篇《通信的数学理论》。次年，他