[2018年最新整理]信息论与编码新题.pptVIP

要点： §1.1 信息的概念 内容： 1.1.1 信息的定义 消息、新闻与知识 据《新词源》考证，唐代诗人李中，《暮春怀故人》，“梦断美人沉信息，目穿长路倚楼台”，“信息”是消息的同义词； 在西方的早期文献著作中，信息(information)和消息(message)也是互相通用的； 英国牛津字典中，信息是谈论的事情、新闻和知识(sth told;news or knowledge given); 韦氏字典中，信息是在观察研究过程中获得的数据情报、新闻和知识。 维纳（Wiener）：美国数学家、控制论奠基人 《控制论：动物与机器中的通信与控制问题》1948 “信息就是信息，不是物质，也不是能量” 利用排他法告诉人们：信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示，是把信息、物质和能量”放在同样地位上的最早科学论断。 香农（Shannan):美国学者、信息论创始人 在《贝尔系统技术》杂志“通信的数学理论”1948 把信息与信息的度量作为事物的“不肯定性”与 “不肯定性”的度量。 以概率为工具，阐述了通信工程的基本理论问题，给出了计算信源信息量和信道容量的方法，得到了表征信息传递重要关系的编码定理。 布里渊（Brillouin）：法裔美国科学家 名著《科学与信息论》 信息就是负熵(Negentropy) 维纳在《控制论与社会》1950 ，正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量，事实上完全可以将消息包含的信息解释为负熵。 M.Tribes等《科学的美国人》“能量与信息” 1971 信息是使概率分布发生变动的东西 概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以这样表示，即对这个问题种种想得出的答案各分配一定的概率；如果对这个答案完全了解，对其中一个赋予1，其他为0. 艾什比(Ashiby)：英国生物学家，控制论奠基人 《控制论导引》引入“变异度”的概念 信息定义为变异度 任何一个集合所包含的元素数目以2为底的对数称为这个集合的变异度；将变异度当作信息的概念来使用（1956）。变异度实际是均匀概率分布条件下的香农熵。 事实上，半个多世纪以来，科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。 钟义信 主编《信息科学与技术导论》一书： 没有任何约束条件的层次是最高层次，最普遍适用的层次，称为本体论层次。 引入一个约束条件，最高层次的定义退变为次高层次的定义，适用范围比最高层次定义的范围窄；若引入的约束条件具有主体（人、生物和机器）存在，并且从主体的立场出发来定义信息，本体论层次信息定义就转化为认识论层次信息定义。 引入的约束条件越多，层次越低，适用范围越窄。 本体论层次的信息定义：是事物的运动状态极其变化方式的自我表述。 认识论层次的信息定义：指主体所感知（或所表述）的关于该事物的运动状态极其变化方式，包括这种状态或方式的形式、含义和效用。 在这个体系下，各种有关信息的定义在不同层次上找到位置。 1.1.2 信息的特征与性质 1、特征 1）信息来源于物质，又不是物质本身，它从物质的运动 中产生出来，又可以脱离源物质而寄生于其它物质（媒体），相对独立的存在。 2）信息也来源于精神世界，但是又不限于精神世界。 3）信息与能量息息相关，但又与能量有质的区别。 4）信息可以被提炼成知识，但信息本身不等于知识。 5）信息是具体的，可以被主体（人，生物和机器）所感知、提取和识别，可以被传递、存储、变换、处理、显示、检索和利用。 6）信息可以被复制，可以被共享。 2、性质 1）普遍性：信息是普遍存在的。 2）无限性：在整个宇宙时空中，信息是无限的，即使是 在有限空间，信息也是无限的。 3）相对性：对于同一事物，不同观察者所获得的信息量可能不同。 4）传递性：信息可以在时空中从一点传递到另一点。 5）变换性：信息是可变换的，它可以由不同的载体用不同的方式来载荷。 6）有序性：信息可以用来消除系统的不确定性，增加系统的有序性。 7）动态性：信息具有动态性质，一切活的信息都随时间而变化，因此，信息也是有时效、有“寿命”的。 8）转化性：从潜在的意义上讲，信息可以转化。在一定条件下，可以转化为物质、能量和时间等。 3、信息的功能 信息可以通过一定的算法被加工成知识，并针对给定的目标被激活成为求