信息论第一章答题.ppt

;什么是信息论 香农信息论的发展历程 信息的概念 信息论的研究内容 ;; 物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。; 1948年，美国工程师和数学家香农 (Claude Edwood Shannon, 1916-2001 )发表了《通信的数学理论》（A Mathematical Theory of Communication，BSTJ，1948）标志着信息论的产生。;; 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。 通信系统三项性能指标： 传输的有效性 传输的可靠性 传输的安全性; 有效性 对于离散信源，信源符号平均码长度应尽量短； 信息传输应尽量快，即高的传信率； 信息传送应该有高的频谱利用率 。 可靠性 传输差错要尽量少 ，对数字传输就是要求低的误码率。 安全性 传输的信息不能泄露给未授权人。;　三项指标所对应的三项基本技术： 　数据压缩 　数据纠错 　数据加密 香农信息论解决了前两项技术的理论问题：; 所以说，香农揭示了数据压缩和传输的基本定律。香农建立了通信中的三项基本技术的理论基础,信息论是前两项技术的理论基础。 ;1.2 香农信息论的发展历程; ;1.2 香农信息论的发展历程;1.3 信息的基本概念;;1949年，Weaver在《通信的数学》中解释香农的工作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题）;信息是认识主体（人、生物、机器） 所感受的和所表达的事物运动的状态和运动状态变化的方式。 以这种定义为基础，信息分成三个基本层次，即语法信息，语义信息，语用信息，分别反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。; 可见，香农在研究信息理论时，排除了语义信息与语用信息的因素，先从语法信息入手，解决当时最重要的通信工程一类的信息传递问题。 香农信息论是由概率统计的角度来研究事物运动各种可能出现的状态及状态间的关系，因此是概率性的语法信息。（例如中英文信源）; 信号 通信信息三个层次 消息 信息 消息是信息的携带者，信息包含于消息之中。 信号是消息的载体，消息是信号的具体内容。 ;香农信息的概念;; 通信系统是从空间的一点到另一点传送信息的，例如，电话、电报、电视、无线通信、光通信等。 存储系统是从时间的一点到另一点传送信息的。例如，磁盘或光盘驱动器、磁带记录器、视频播放器等 存储系统在某种意义上也可看成从现在向将来发送信息的通信系统。 ; ;1.信源(information source) 信源是信息的来源，其功能是直接产生可能包含信息的消息 按输出符号的取值分类： 离散信源 连续信源： 连续信源又分为： 离散时间连续信源； 波形信源或模拟信源。;;2.编码器(Encoder) 编码器的功能： 将消息变成适合于信道传输的信号 信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator) ; ;各部分的主要功能 信源编码器的功能是将信源消息变成符号，目的是提高传输有效性，也就是压缩每个信源符号传输所需代码的数目（对二进制代码称比特数）。 信道编码器给信源编码符号增加冗余符号，目的是提高传输可靠性。;; 调制器功能是，将编码器的输出符号变成适合信道传输的信号，目的是，提高传输效率（使远距离传输成为可能）。 信道编码符号不能直接通过信道输出，要将编码器的输出符号变成适合信道传输的信号，例如，0、1符号变成两个电平，为远距离传输，还需载波调制，例如，ASK，FSK，PSK等。 ;