1.2 信息论的研究范畴.ppt

* 第一章 引论 §1.2 信息论的研究范畴 §1.2 信息论的研究范畴 一、信息的概念 二、信息论的研究内容 三、基本信息论与编码理论的发展历史 * 1. 消息 一、信息的概念 符、动作、文字、符号、数字、图片、图像等等， 客观事物运动和主观思维活动的状态表达出来，即成 用能够被人们的感觉器官所感知的形式， 定义 如语言、音 把 为(或称为)消息。 补 2. 信号 1. 消息 一、信息的概念 可观测、可传输、可存储及可处理的信号也称为数据。 信号是消息的物理体现，是用来表示消息的物理量； 定义 3. 信息 2. 信号 1. 消息 一、信息的概念 不肯定性程度。 信息是反映事物运动状态和存在方式的不确定性或者 定义 小结 换句话说，消息和信号是信息的载体； 信号是具体的、物理的； 消息是具体的、非物理的； 信息是非具体的、非物理的。 一、信息的概念 信息不同于消息和信号， 它是消息和信号所反映出来的某种属性。 消息和信号中含有信息。 现在外面的天气是“晴天” 等会儿的天气还是“晴天” 等会儿的天气将是“大雨” 等会儿的天气将是“暴雪” 例如 本人现在发布如下的消息： 晴 云 阴 雨 (几乎不含信息) (含一点儿信息) (含较大的信息) (很惊人的信息) 一、信息的概念 一、信息的概念 两点说明 (2) 有些消息所反映的信息常常与该消息所处的环境及表达 因为其中包含有语言的“韵味”、“意境”等。 (1) 不同的接收者对于同一个消息的感受(即所得到的信息) 可能是不同的。（QQ） 对语言所表达的信息进行描述常常是非常困难的， 比如 方式有关，有些甚至本就是模糊的。 一、信息的概念 主观虚假错误信息 眼 见 为 虚 二、信息论的研究内容 1. 狭义信息论 者基本信息论。 主要研究信息的度量、信息的特性、信息传输速率、 信道容量以及信源编码理论等问题。 也称为香农信息论或 2. 一般信息论 编码以及信息传输和处理等问题。 主要研究通信的一般理论，包括信号与噪声理论、信 号的滤波与检测、统计检测和估值理论、调制理论、信道 也称为通信理论。 P7 二、信息论的研究内容 1. 狭义信息论 2. 一般信息论 3. 广义信息论 传工程学、生理学、生物学等等。 其内容不仅包括上面所述的两个方面，还包括与信息 有关的其它领域。 如模式识别、计算机翻译、心理学、遗 三、基本信息论与编码理论的发展历史 1. 基本信息论的发展 解释了信号带宽和信息速率间的关系。 1924 《影响电报速率因素的确定》， 奈奎斯特 ( H. Nyguist ) 给出了信息度量方法。 研究了通信系统传输信息的能力， 1928 哈特莱 (L.V.R. Hartley) 《信息传输》， 提出了增大带宽可以使抗干扰能力加强。 1936 阿姆斯特朗 P8 柯切尔尼柯夫 ( ) 1946 研究了离散消息和连续消息的最佳接收问题。 《起伏噪声下的潜在抗干扰理论》， 《时间序列的内插、外推和平滑化》、专著《控制论》， 1948～1949 维纳 (N. Wiener) 根据最小均方误差准则研究了信号的过滤问题； 关于目标自动预测和武器火力控制方面的研究成果。 三、基本信息论与编码理论的发展历史 1. 基本信息论的发展 对信息给以科学的定量描述；提出了信息熵的概念； 《通信的数学理论》、《噪声下的通信》, 1948～1949 香农 ( C.E. Shannon ) 奠定了现代信息论的基础。 1951 美国IRE成立了信息论组。 1955 美国正式出版了信息论汇刊。 三、基本信息论与编码理论的发展历史 1. 基本信息论的发展 信息率失真理论和限失真信源编码理论。 2. 信源编码理论与技术的发展 1948 无失真信源编码理论。 香农 (C. E. Shannon) 1952 香农－范诺编码。 范诺 ( R. M. Fano ) 1952 霍夫曼编码。 霍夫曼 ( D. A. Huffman ) 1959 香农 (C. E. Shannon) 三、基本信息论与编码理论的发展历史 3. 信道编码理论与技术的发展 1948 C. E. Shannon 信道编码定理。 1950 H. W. Hamming 发现Hamming码。 1955 P. Elias 发现卷积码。 1956 D. Slepian 线性码的系统描述。 1957 E. Prange 发现循环码。 三、基本信息论与编码理论的发展历史 发现 BCH 码。 卷积码的序列译码算法。 1964 R. M. Fano R. C. Bose， D. K. Ray-Chau