信息论电子信息工程学院香农.pptVIP

李玉峰 课程主要内容 信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 教学内容与学时安排 第1章 绪论 （2学时） 第2章 信源和信息熵（10学时） 第3章 信道与信道容量（8学时） 第4章 信息率失真函数（4学时） 第5章 信源编码（6学时） 第6章 信道编码（10学时） 绪 论 第一章 第一章 绪 论 1.1 信息论的基本概念 1.2 信息的分类 1.3 信息论的形成和发展 1.4 信息论研究的对象、目的和内容 1.5目前信息论的主要研究成果 1.6 通信系统的模型  什么是信息? “信息是信息，不是物质，也不是能量。” —— 1948年（美）维纳 “信息是反映事物的形式、关系和差别的东西，信息是包含了客体间的差别中，而不是在客体本身中。” —— 1975年（意）朗格 “信息是对事物运动状态或存在方式的不确定的描述。” —— 1948年（美）香农 信息的直观理解 第一个重要概念： 信道上传送的是随机变量的值。这就是说: （1）我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。 （2）消息随机变量有一个概率分布。 消息随机变量的一个可能取值就称为一个事件。 信息的直观理解 第二个重要概念： 事件发生的概率越小，此事件含有的信息量就越大。 例如两个事件 A= “中国足球队3：0力克韩国足球队” B= “中国足球队0：1负于韩国足球队” 结论是：A含有的信息量B含有的信息量。 信息的直观理解 第三个重要概念： 消息出现的随机性越大，此消息含有的信息量就越大。 例如两个事件 A=“中国足球队与韩国足球队比赛的结果” B=“意大利足球队与德国足球队比赛的结果” 易知：事件B随机性大，故含有信息量大。 信息的直观理解 第四个重要概念： 两个消息随机变量的相互依赖性越大，它们的互信息量就越大。 例 X=许昌明日平均气温, Y=郑州明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。 例：气象预报 甲 乙 信息、消息和信号 信息 是对事物运动状态或存在方式的不确定性描述。 信息、消息和信号 消息是信息的数学载体，信号是信息的 物理载体。 信号：具体的，物理的 消息：具体的，非物理的 信息：非具体的，非物理的 在通信系统中，实际传输的是信号，但本质内容是信息。 通信的结果是消除或部分消除不确定性，从而获得信息。 信息的特征 信息是十分抽象又复杂的概念，它具有 以下特征： 接收到信息之前，其内容未知； 信息具有知识的本质，可使主体对事物的不确定性减小； 信息可以产生，可以消失； 信息可以度量。 第一章 绪论 1.1 信息论的基本概念 1.2 信息的分类 1.3 信息论的形成和发展 1.4 信息论研究的对象、目的和内容 1.5目前信息论的主要研究成果 1.6 通信系统的模型 信息的分类 按信息源的性质分类：语声信息、图像信息、文字信息、数据信息、计算信息等。 按信息的作用分类：有用信息、无用信息、干扰信息。 按信息的逻辑意义分类：真实信息、虚假信息、不定信息。 按应用部门分类：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息。 按信息的载体性质分类：电子信息、光学信息、生物信息等。 按信号的形式分类：连续信息、离散信息、半连续信息(混合信息)等。 第一章 绪论 1.1 信息论的基本概念 1.2 信息的分类 1.3 信息论的形成和发展 1.4 信息论研究的对象、目的和内容 1.5目前信息论的主要研究成果 1.6 通信系统的模型 Claude Shannon (1916-2001) “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude E. Shannon)在他的惊世之著《通信的数学理论》中的一句铭言。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 香农因此成为信息论的奠基人 香农，1816年生于美国密执安州的加洛德。香农创造性地继承了前人的事业,在信息论的领域中钻研了8年之久,终于在1948年在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。 次年,他又在同一杂