信息论与编码范锦宏.pptVIP

信息论与编码范锦宏 教材：宋鹏，信息论与编码原理，电子工业出版社，2011年 课程性质：专业必修课（48学时）（3学分） 先修课程：概率论 后续课程：通信原理，移动通信 答疑时间： 地点：四教603 参考书： 冯桂，《信息论与编码技术》，清华大学出版社，2007年。 李亦农，《信息论基础教程》，北京邮电大学出版社，2005年。 姜丹，《信息论与编码》，中国科学技术大学出版社，2001年。 信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。通常人们公认信息论的奠基人是美国科学家香农（C.E.Shannon）。 1.1 信息的概念及其分类 一、英文information，信息社会，信息时代，信息客观存在，无处不在。 二、信息、消息和信号 1、定义 信息：事物运动状态或存在方式的不确定性的描述。 消息：指包含有信息的语言、文字和图像等。 信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。 2、信息和消息 信息不等于消息。消息中包含信息，是信息的载体。 同一信息可以用不同形式的消息来载荷。 同一个消息可以含有不同的信息量。 3、信息和信号 信号是消息的载体，消息则是信号的具体内容。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示，同一信号也可表示不同的信息。 三、信息的性质 1、存在的普遍性 2、可度量性 3、可共享性 1.2 信息论研究的对象内容 信源：产生消息。消息可以是文字、语言、图像等。 信源编码：提高信息传输的有效性。 有效性高：是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。 信道编码：提高信息传输的可靠性。 可靠性高：是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 信道：传输信号。 信道解码：信道编码的逆变换。 信源解码：信源编码的逆变换。 信宿：接收消息。 1.3 信息论的形成和发展 一、起源 1948年香农发表了“通信的数学理论”的文章，标志着信息论的正式诞生。 1948年 Mathematical Theory in Communication 与此同时，维纳提出了在干扰作用下的信息最佳滤波理论，成为信息论的一个重要分支。 二、发展 信息论不仅在通信、广播、电视、雷达等电子领域得到了直接应用，而且渗透到医学、生理学、生物学经济学和计算机科学等领域，信息论逐步发展为范围极广的广义信息论即信息科学。 * * 第1章 概 论 1.1 信息的概念及其分类 1.2 信息论研究的对象和内容 1.3 信息论的形成和发展 香农信息论或狭义信息论。 主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。 1 香农信息论 信源熵 信道容量 无失真信源编码定理 率失真函数 信源编码 信道编码 限失真信源编码定理 信道 编码定理 密码 目的：是为了提高通信的可靠性和有效性。 通信系统模型方框图 也称工程信息论，主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（N·Wiener）为代表。 一般信息论 2 一般信息论 香农 信息论 噪声理论 调制 理论 信号滤波预测理论 统计检测估计理论 也称信息科学，概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究，如模式识别、心理学、遗传学、语言学等。 广义信息论 3 总之，人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 *