信息论与编码技术第一章.ppt

第1章 绪论 第1章 绪论 1.1 信息定义、特征与性质 1.2 信息的分类 1.3 信息论的形成和发展 1.4 信息论研究对象及内容 1.5 本书的主要内容 1.1 信息定义、特征与性质 1.1.1 信息定义 1.1.2 信息的特征 1.1.3 信息的性质 1.1.1 信息定义 信息一词来源于人们的通信实践活动，在日常生活中，信息是指“消息”、“情况”、“知识”、“情报”等等。 信息是一个十分抽象而又复杂的概念，是人们对客观事物感触到的新知识；消息是信息的载荷者，是描述信息的一种表现形式；同一种信息可以用不同的消息来载荷，即对某个事物的描述和反映，是表示事物内涵的一种形式。 1.1.2 信息的特征 信息来源于物质，但又不是物质本身，它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。 信息来源于精神世界，但又不限于精神领域。 信息与能量息息相关，但又与能量有本质的区别。 信息具有知识的本质，但比知识的内涵更广泛。 信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传递、存储、变换、处理、显示、检索和利用。 信息可以被众多主体所共享。 信息可以产生，也可以消失。 信息是可以度量的，信息量有多少的差别。 1.1.3 信息的性质 普遍性。 无限性。 相对性。 变换性。 转换性。 有序性。 动态性。 共享性。 可度量性。 1.2 信息的分类 信息按照性质划分，可以分为：语法信息、语义信息、语用信息三类。 按观察的过程分类，可以有：实在信息、先验信息、实得信息。 按信息的地位分类，可以有：客观信息(包括观察对象的初始信息，经过观察者干预之后的效果信息、环境信息等)、主观信息(包括决策信息、指令信息、控制信息、目标信息等)。 按信息的作用分类，可以有：有用信息、无用信息、干扰信息。 按信息的逻辑意义分类，可以有：真实信息、虚假信息、不定信息。 按信息的传递方向分类，可以有：前馈信息、反馈信息。 1.2 信息的分类 按信息的生成领域分类，可以有：宇宙信息、自然信息、社会信息、思维信息等。 按信息的应用部门分类，可以有：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息、管理信息等。 按信息源的性质分类，可以有：语声信息、图像信息、文字信息、数据信息、计算信息等。 按信息的载体性质分类，可以有：电子信息、光学信息、生物信息等。 按携带信息的信号的形式分类，还可以有：连续信息、离散信息、半连续信息(混合信息)等。 1.3 信息论的形成和发展 信息论理论基础的建立，一般来说开始于香农(C.E Shannon)研究通信系统时所发表的论文。随着研究的深入与发展，信息论具有了较为宽广的内容。信息在早些时期的定义是由奈奎斯特(Nyquist，H.)和哈特莱(Hartley，L.V.R.)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗 (Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941至1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念，指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。这一成果于1948年以“通信的数学理论”(A mathematical theory of communication)为题公开发表。这是一篇关于现代信息论的开创性的权威论文，为信息论的创立做出了独特的贡献，香农因此成为信息论的奠基人。 1.3 信息论的形成和发展 50年代信息论在学术界引起了巨大的反响。1951年美国IRE成立了信息论组，并于 1955年正式出版了信息论汇刊。60年代信道编码技术有较大进展，使它成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术发展到了高峰，找到了大量可纠正多个错误的码，而且提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破；提出了序列译码和Viterbi译码方法。 信源编码的研究落后于信道编码。香农1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。 1.3 信息论的形成和发展 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统