[工学]01-绪论.pptVIP

信息论与编码 电子信息工程学院 汪汉新 课程类型：专业必修课 学 时：36 参考教材： ①陈 运, 《信息论与编码》第一版, 电子工业出版社 ②傅祖芸, 《信息论—基础理论与应用》, 电子工业出版社 ③王新梅, 《纠错码—原理与方法》, 西安电子科技大学出版社 ④曹雪虹, 《信息论与编码》, 北京邮电大学出版社 考 核：平时成绩30％（作业、考勤） 期末考试70％（闭卷） 答 疑：通信教研室(4-504) 联系方式课程概况 简介：信息论与编码是电子信息、通信工程等专业的基础课。同时也是进一步学习通信理论、信号检测与估值、纠错编码、语音信号处理、数字图象处理、模式识别、人工智能及计算机通信网等专业课程的必要的先修课。 预修课程：线性代数、概率与数理统计、信号与系统。 目的与要求：使学生掌握信息传输、存储、处理与识别系统中关于信息的概念、度量、编码理论与方法，为有效而可靠的设计信息系统打下理论基础。要求学生了解信息论与编码理论的作用与意义，对信息论与编码理论的研究方法有初步的认识。 特点：以基本概念和物理意义为主，数学推导尽量放到课外。多媒体演示与黑板板书相结合的方式。 作业：课后相关内容的习题 本课程的主要内容： 信息论基础—香农信息论。 主要包括 信息测度 信道容量 香农三大定理：无失真信源编码定理(第一定理) 信道编码定理(第二定理) 限失真信源编码定理(第三定理) 信源编码 信道编码 信息率失真函数 本教材的具体内容： 一. 信息论(第1，2章) 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码(第4，5章) 定长编码，变长编码以及最佳编码 离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码(第3，6章) 信道模型和容量 线性分组码 卷积码 第一章 概论 1. 信息的一般概念 信息是什么？ 信息是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。 信息的概念是在实践中产生，以前一直被看作是消息的同义词。 信息的概念十分广泛，不同的定义在上百种以上。 信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是物质的普遍属性。 信息是使概率分布发生改变的东西。 信息是物质成分的意识成分按完全特殊的方式融合起来的产物。 …… 香农对信息的定义 信息：是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获取和利用。 全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。 语法信息：事物运动状态和状态改变的方式； 语义信息：事物运动状态和方式的具体含义； 语用信息：事物运动状态和方式及其含义对观察者的效用。 香农信息论：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。 维纳对信息的定义 香农：创立了信息论，但并没有给出信息的确切定义，他认为“信息就是一种消息”。 维纳：信息论的创始人之一，把人与外部环境交换信息的过程看作是一种广义的通信过程。后来才认识到“信息既不是物质又不是能量，信息就是信息”。即信息是独立于物质和能量之外存在于客观世界的第三要素。 香农和维纳理论的区别 香农理论：香农研究的对象是从信源到信宿之间的全过程，是发送和接收端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在有干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。 维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性滤波理论（维纳滤波器）、统计检测与估计理论、噪声理论。 信息的11条重要性质 存在的普遍性：信息存在于自然界、人类社会，其本质是运动和变化的。哪里有事物的运动变化，哪里就会产生信息。它处处存在，它既区别于物质和能量，又与物质和能量有相互依存的关系。 有序性：要使一个系统从无序变为有序，必须从外界获取信息。 相对性：同一个事物，不同的观察者获得的信息量可能不同。 可度量性：信息的多少用信息量表示。 可扩充性：信息随人的认识的提高在不断的扩充。 可存储、传输与携带性 可压缩性：信息论研究的主要问题之一。 可替代性：可替代劳力、资本、物质材料、时间。 可扩散性：可在短时间内较大范围扩散开。 可共享性：没有信息的共享性就没有人类社会的发展和进步。 时效性：信息是有“寿命”