[教育]信息论基础课件.pptVIP

信息论与编码-概论 信息论与编码 Informatics Coding 信息论与编码-概论 第一章概论 1.1、信息的一般概念 1.2、信息的分类 1.3、信息的起源、发展及研究内容 信息论与编码-概论 1.1??????? 信息的一般概念 信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。 信息论与编码-概论 信息的一般含义 自古以来，人类就生活在信息的海洋之中。当今，人类越来越广泛地采用“信息”这一词汇，几乎达到人人皆知的程度。那么，我们不禁要问，“信息”到底是什么含义呢？从人们众多的应用中，我们大致可以从以下三个方面来理解“信息”的含义。 信息论与编码-概论 （一）“信息”是作为通信的消息来理解的。在这种意义下，“信息”是人们在通信时所要告诉对方的某种内容。 （二）“信息”是作为运算的内容而明确起来的。在这种意义下，“信息”是人们进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形式。 （三）“信息”是作为人类感知的来源而存在的。 信息论与编码-概论 以上，我们从三个不同的侧面叙述了信息的一些含意。显然，这还不是它的全部意义，只能作为对信息的一种初步的理解。 信息论与编码-概论 信息的本质 “信息是关于事物运动的状态和规律”。或者说，是关于事物运动的“知识”。 信息论与编码-概论 信息的常用术语 1、情报 情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。 信息论与编码-概论 信息论与编码-概论 信息论与编码-概论 信息论与编码-概论 信息的主要特征 信息论与编码-概论 信息的性质 信息的分类 信息的分类 5、按照信息的逻辑意义，分为：真实信息、虚假信息、不定信息； 6、按照信息的传递方向，分为：前馈信息、反馈信息； 7、按照信息的生成领域，分为：宇宙信息、自然信息、社会信息、思维信息； 信息论与编码-概论 信息论的基本思路 通信是人类活动中最为普遍的现象之一，信息的传递与交换是时时处处都发生着的事情。在信息的传递与交换中，人们当然希望能够又多、又快、又好、又经济地传递信息。那么很自然地会出现这样一个问题：什么是信息传递的多快好省呢？怎样来衡量这种多快好省呢？怎样来判断某种通信方法的优劣呢？这就需要建立一种合理的定量描述信息传输过程的方法，首先是定量描述和度量信息的方法。 信息论与编码-概论 1948年，美国一位数学家克劳特·香农(C.E．Shannon)发表了一篇著名的论文《通信的数学理论》。差不多与此同时，美国另一位数学家诺伯特·维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。在这些著作中，他们分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。 信息论与编码-概论 香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。因此，它一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题．从此，信息问题的研究，进入了一个新的纪元。 香农信息理论的基本思路，大致可归结为以下三个基本观点： 信息论与编码-概论 一、非决定论观点 在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地决定它的结果；反过来，只要知道了它的结果，也就可以唯一地决定它的原因。或者，只要知道了某个事物的初始条件和运动规律，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥、否认偶然性。 信息论与编码-概论 根据通信问题研究对象的特点，信息理论按照非决定论的观点，采用了概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更切合实际、更科学、更有吸引力。 信息论与编码-概论 二、形式化假说 可提出如下的假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息来说是次要因素。因此，在描述和度量作为“通信的消息”来理解的狭义信息时，可以先把语义、语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素（语法信息）。 信息论与编码-概论 三、不确定性 对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：一是自己有某种形