信息论形成和发展.pptVIP

总学时： 48 理论课： 40 习题测试： 8 周学时： 6 8周课 本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史及现状。 介绍了信息论三个基本概念，信源熵、信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安全编码。 目录 第一章 绪论§1.1 信息论的形成和发展 一、什么是信息 C.E.Shannon：信息就是一种消息 N.Wiener： 信息是人与外界相互作用的过程 中所交换的内容的名称 钟义信： 信息就是事物运动的状态和方式，就是 关于事物运动的千差万别的状态和方式知识。 C.E.Shannon针对人类的通信活动提出以下论点： （1）形式化假说：通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的，但通信的语义方面的问题与工程问题是无关的。 （2）非决定论：实际的消息总是可能发生的消息集合中挑选出来的，因此通信系统必须设计得对每一种选择都能工作，因为各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。 （3）不确定性： 两种情况下有通信的需要，一是自己有某