信息论与编码第一课学案.ppt

信息论与编码 授课老师：魏平俊 联系电话Email: weipingjun@yeah.net 信息论与编码 教学内容 香农信息论的基本概念、基本理论 信息、熵、信道容量、编码定理（无失真信源编码、有 噪信道编码，限失真信源编码等，信道编码理论） 信道编码 基本原理、常用码编译原理和方法 信源编码 密码学简介 信息论与编码 教学重点： 信息度量、信道容量、无失真信源编码、限失真信源编码、信道编码的基本理论及实现原理。 信息论与编码 参考书： 信息论与编码，曹雪虹 张宗橙编，清华大学出版社，2004 信息论—基础理论与应用， 傅祖芸编著，电子工业出版社，2001 信息理论基础，周炯槃 信息与编码理论，王育民、梁传甲，西北电讯工程学院出版社 The theory of information and coding, R.J. McEliece 纠错码-原理与方法，王新梅 信道编码，刘玉君 信息论与编码-绪论 第一章 绪论 1.1信息论的基本概念 1.2信息论发展简史 1.3信道编码发展简史 1.4通信系统的基本模型 信息论与编码-绪论 1.1信息论的基本概念 信息论与编码-绪论 1.1信息论的基本概念 信息 如何定义信息、如何度量信息、如何计算信息 信息论与编码-绪论 1.1信息论的基本概念 信息 如何定义信息、如何度量信息、如何计算信息 信息论 如何处理信息、如何传递信息、如何提取信息 信息论与编码-绪论 信息的一般含义 信息论与编码-绪论 信息的一般含义 信息至今无确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。 信息论与编码-绪论 信息的一般含义 信息至今无确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。 信息在不同的领域内有不同的定义。 信息论与编码-绪论 信息的一般含义 信息至今无确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。 信息在不同的领域内有不同的定义。 在通信领域内是指通信时所要告诉对方的某种“内容”。或者说是接受方在接受到一个符号或一个序列后，所获得的“内容”。 信息论与编码-绪论 信息论的研究范畴 信息论与编码-绪论 信息论的研究范畴 信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究的科学。 信息论与编码-绪论 信息论的研究范畴 信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究的科学 狭义信息论：信息度量、信息特征、信息传输速率、信道容量、干扰对信息传输的影响等。 信息论与编码-绪论 信息论的研究范畴 信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究的科学。 狭义信息论：信息度量、信息特征、信息传输速率、信道容量、干扰对信息传输的影响等 广义信息论：还包括信号设计、噪声理论、信号的检测与估值等。 信息论与编码-绪论 本书所要解决的问题 什么是信息、如何度量信息？ 在信息传输中，基本的极限条件是什么？ 对于信息的压缩和恢复的极限条件是什么？ 从环境中抽取信息极限的条件是什么？ 设计什么样的设备才能达到这些极限？ 这些设备是否存在？ 信息论与编码-绪论 1.2 信息论发展简史和现状 信息论的奠基人—克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916年4月30日—2001年2月26日）美国数学家 于1916年4月30日出生于美国密歇根州的Petoskey 1936年毕业于密歇根大学并获得数学和电子工程学士学位 1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位 1941年他加入贝尔实验室数学部，工作到1972年 1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授 香农博士于2001年2月26日去世，享年84岁 信息论与编码-绪论 1948年在《贝尔系统技术杂志》上发表了244页的长篇论著，《通信的数学理论》。 1949年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。 在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作 信息论与编码-绪论 信息论与编码-绪论 1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。 1885年凯尔文(L. Kelvin)曾经研究过一条电缆的极限传信率问题。 1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立