《信息论和编码基础》第1章 绪论.pptVIP

信息论与编码 周三：7~8 (13:30~15:10)/A105 中山大学计算机科学系 蔡国扬 E_mail: isscgy@mail.sysu.edu.cn;信息科学是研究不同领域里有关信息的收集、加工、存储、传递以及使用的学科。其出发点是认识信息的本质和它的运动规律；其归宿则是利用信息来达到某种具体的目的。 以信息作为主要研究对象，以信息的运动规律作为主要研究内容，以信息方法论作为主要研究方法，这是信息科学区别于一切传统科学的最根本的特征。 信息方法以信息概念作为分析和处理问题的基础，它完全撇开研究对象的具体结构和运动形态，把系统的有目的性运动抽象为一个信息变换过程，即信息的输入、存储、处理、输出和反馈过程。信息方法包括两个方面，即信息分析方法和信息综合方法。前者解决认识问题；后者解决实践问题。;信息科学体系;信息科学是一个包含从不同角度研究信息及其运动形态的学科群，是由信息理论科学、信息技术科学和信息应用科学三个层次构成的完整体系。;也可以认为，信息科学由信息科学理论、信息应用技术和信息科学方法三者组成。信息科学理论主要包含信息定性理论、信息定量理论和信息应用理论。信息应用技术包括信息的获取、传递、加工处理、存储等代替和延伸人的感官及大脑的信息功能的技术，可以细分为信息获取技术（感测技术）、信息传递技术（电信技术）、信息加工处理技术（计算机技术）及信息控制技术（自动智能控制技术）。信息科学方法包括信息分析方法和信息综合方法，指导人类通过信息窗口去认识世界、改造世界。;第1章 绪论 信息的一般概念 香农信息的概念 信息论研究的对象和目的 信息论研究的内容 信息论发展简史与现状;第2章 离散信源及其信息测度 信源的数学模型及分类 离散信源的信息测度-信息熵 信息熵的基本性质 离散无记忆的扩展信源 离散平稳信源及其极限熵 信源的冗余度;第3章 离散信道及其信道容量 信道的数学模型及分类 信道疑义度与平均互信息 平均互信息的特性 离散无记忆扩展信道 离散信道的信道容量 信源与信道的匹配;第4章 波形信源及波形信道 波形信源的统计特性和离散化 连续信源和波形信源的信息测度 连续信源熵的性质及最大差熵定理 具有最大差熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量;第5章 基本的信源和信道编码定理 无失真信源编码定理 编码器的概念 等长码 等长信源编码定理 变长码 变长信源编码定理（香农第一定理） 有噪信道编码定理 错误概率与编译码规则 有噪信道编码定理（香农第二定理） 联合信源信道编码定理;第6章 保真度准则下的信源编码 失真的测度 信息率失真函数及其性质 离散无记忆信源的信息率失真函数 保真度准则下的信源编码定理（香农第三定理） 联合有失真信源信道编码定理;第7章 无失真的信源编码 无失真信源编码的概念 香农编码 费诺编码 Huffman编码 游程编码 算术编码 通用编码;参考书目 傅祖芸，信息论与编码，电子工业出版社, 2005 曹雪虹等，信息论与编码，北邮出版社，2001 唐朝京，信息论与编码基础， 国防科技大学出版社 周荫清，信息理论基础，北京航空航天大学出版社 Thomas M. Cover, Joy A. Thomas，Elements of Information Theory，清华大学出版社，2003 R. J. McEliece, The Theory of Information and Coding, 电子工业出版社, 2005;信息论是将通信技术、??率论、随机过程、数理统计等学科相结合逐步发展而形成的一门新兴科学。 奠基人：美国数学家香农 (C. E. Shannon)，1948年发表著名论文 “A Mathematical Theory of Communication” ，用概率测度和数理统计的方法系统研究了通信的基本问题，给出了信息的度量方法，得出了带有普遍意义的重要结论，由此奠定了信息论的理论基础，为信息的表达、存储、传送和处理的具体实现提供了理论依据。 在香农信息论的指导下，人们在信源编码和信道编码两个领域进行了卓有成效的研究，在提高通信系统信息传输的有效性和可靠性上取得了丰硕成果。;“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 Claude Shannon 1916-2001 ;随着信息概念的不断深化和信息理论的发展，信息论所涉及的内容已经超出了狭义的通信工程范畴，渗透到许多学科。 本课程主要内容： 香农(Shannon)信息论：信息的统计度量，离散信源，离散信道和信道容量； 编码理论和实现原理：信源编码与信道编码。;信息是信息论中最基本、最重要的概念，既抽象又复杂。而在日常生活中，信息常常被认为是“消息”、“知