信息论和编码 第1章 概论.ppt

信息论导论;第1章 概论;2、信息的本原性;3、信息的定义;迄今为止，应用最广泛的是通信系统研究背景下，1948年香农给出的信息定义;信道——传输信号的媒介，信道中通常引入噪声 编码——从消息到信号的变换和处理 译码——从含噪声信号到消息的反变换和处理;消息;定义;4、信息的性质;相对性 时效性;2、按信息的作用;1、信息论的形成;1924年，乃奎斯特电报信号脉冲速率与信道带宽的研究，关于带限信号的采样定理;20世纪40年代初，维纳防空火炮控制的研究，将随机过程和数理统计引入到通信和控制系统，揭示了信息传输和处理过程的统计本质，使通信系统的理论研究上了一个新台阶;任何消息都伴随着一个可以量化的信息，提出作为信息度量的信息熵和平均互信息量的概念;某种意义上可以认为香农的两篇论文是信息论的“基本法”;在通信工程界，主要集中在信源编码、信道编??的具体构造方法，信息率失真理论和多用户信息理论方面;1959年，香农发表的论文 “保真度准则下的离散信源编码定理”（Coding Theorems for a Discrete Source at the Fidelity Criterion）标志着信息率失真理论的形成;1963年，埃利斯提出算术编码方法;1993年提出的Turbo码在性能上已非常接近理论极限;关于信息论的研究内容，一般有三种理解;2、一般信息论;一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论——噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等;本体论层次上的信息是一种客观存在，与我们主观是否感知到它没有关系 认识论层次上的信息概念引入了一个约束条件——认识主体，它只把那些认识主体所能感知到的东西才视为信息;只考虑形式因素的部分称为语法信息 只考虑含义因素的部分称为语义信息 只考虑效用因素的部分称为语用信息;研究信息的内在含义和效用价值，必然会渗透到心理学、生物学、神经生理学、语言学、经济学、社会学等有关领域