[医学]信息论与编码01-绪论.pptVIP

信息论与编码 电子信息工程学院 汪汉新 课程类型：专业必修课 学 时：36 参考教材： ①陈 运, 《信息论与编码》电子工业出版社 ②傅祖芸, 《信息论—基础理论与应用》, 电子工业出版社 ③王新梅, 《纠错码—原理与方法》, 西安电子科技大学出版社 ④曹雪虹, 《信息论与编码》, 北京邮电大学出版社 考 核：平时成绩30％（作业、考勤） 期末考试70％（闭卷） 答 疑：通信教研室(4-504) 联系方式课程概况 简介：信息论与编码是电子信息、通信工程等专业的基础课。同时也是进一步学习通信理论、信号检测与估值、纠错编码、语音信号处理、数字图象处理、模式识别、人工智能及计算机通信网等专业课程的必要的先修课。 预修课程：线性代数、概率与数理统计、信号与系统。 目的与要求：使学生掌握信息传输、存储、处理与识别系统中关于信息的概念、度量、编码理论与方法，为有效而可靠的设计信息系统打下理论基础。要求学生了解信息论与编码理论的作用与意义，对信息论与编码理论的研究方法有初步的认识。 特点：以基本概念和物理意义为主，数学推导尽量放到课外。多媒体演示与黑板板书相结合的方式。 作业：课后相关内容的习题 本课程的主要内容： 信息论基础—香农信息论。 主要包括 信息测度 信道容量 香农三大定理：无失真信源编码定理(第一定理) 信道编码定理(第二定理) 限失真信源编码定理(第三定理) 信源编码 信道编码 信息率失真函数 本教材的具体内容： 一. 信息论(第1，2章) 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码(第4，5章) 定长编码，变长编码以及最佳编码 离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码(第3，6章) 信道模型和容量 线性分组码 卷积码 第一章 概论 1. 信息的一般概念 信息是什么？ 信息是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。 信息的概念是在实践中产生，以前一直被看作是消息的同义词。 信息的概念十分广泛，不同的定义在上百种以上。 信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是物质的普遍属性。 信息是使概率分布发生改变的东西。 信息是物质成分的意识成分按完全特殊的方式融合起来的产物。 …… 香农对信息的定义 信息：是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获取和利用。 全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。 语法信息：事物运动状态和状态改变的方式； 语义信息：事物运动状态和方式的具体含义； 语用信息：事物运动状态和方式及其含义对观察者的效用。 香农信息论：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。 信息的11条重要性质 存在的普遍性：信息存在于自然界、人类社会，其本质是运动和变化的。哪里有事物的运动变化，哪里就会产生信息。它处处存在，它既区别于物质和能量，又与物质和能量有相互依存的关系。 有序性：要使一个系统从无序变为有序，必须从外界获取信息。 相对性：同一个事物，不同的观察者获得的信息量可能不同。 可度量性：信息的多少用信息量表示。 可扩充性：信息随人的认识的提高在不断的扩充。 可存储、传输与携带性 可压缩性：信息论研究的主要问题之一。 可替代性：可替代劳力、资本、物质材料、时间。 可扩散性：可在短时间内较大范围扩散开。 可共享性：没有信息的共享性就没有人类社会的发展和进步。 时效性：信息是有“寿命”的。 信息、消息和信号 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等 2. 信息的分类 信息是一种非常复杂的的研究对象，分类有许多不同的准则和方法。 按照信息性质：语法信息、语义信息、语用信息； 按照观察过程：实在信息、先验信息、实得信息； 按照信息作用：有用信息、无用信息、干扰信息； 信息传递方向：前馈信息、反馈信息； 按照信息来源：语声信息、图像信息、文字信息、数据信息、计算机信息； 信息载体性质：语声信息、图像信息、文字信息、电磁信息、光学信息、生物信息； 携带信息的信号性质：连续信息、离散信息、半连续信息。 按照事物的运动方式：概率信息、偶发信息、确定信息、模糊信息； 香农信息论主要