【第2章】信号论和信号数字化过程.pptxVIP

第2章 信息论与信号数字化过程第２章信息论与信号的数字化过程 2.1 信息论与通信模型 2.2 信息的度量 2.3 模拟信号与数字信号 2.4 模拟信号数字化处理的一般过程 2.5 D/A转换—数字信号向模拟信号的转换 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 2.1 信息论与通信模型信息论作为一门严密的科学，主要应归功于美国应用数学家香农（C.E.Shannon，1916-2001）。1948年，香农在《贝尔系统技术学报》上发表重要论文《通信的数学理论》， 香农认为：信息是有秩序的量度，是人们对事物了解的不确定性的消除或减少。信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。就一般意义而言，信息可以理解成消息、情报、知识、见闻、通知、报告、事实、数据等等。 什么是信息？ 1948年，信息论创始人，美国科学家香农(C.E.Shannon)从研究通信理论出发，第一次用数学方法定义“信息就是不确定性的消除量”。认为信息具有使不确定性减少的能力，信息量就是不确定性减少的程度。控制论创始人之一，美国科学家维纳(N.Wiener)指出“信息就是信息，不是物质，也不是能量。”维纳把人们与外界环境交换信息的过程看成是一种广义的通信过程，试图从信息自身具有的内容属性给信息定义。 探索信息的真谛 狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。信息论发展的三个阶段 香农提出的信息论是关于通信技术的理论，它是以数学方法研究通信技术中关于信息的传输和变换规律的一门科学。所以，人们又将其称为狭义信息论，或经典信息论。 实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。信息论发展的三个阶段 信息论发展的第二个阶段是一般信息论。这种信息论虽然主要还是研究通信问题，但是新增加了噪声理论，信号的滤波、检测、信号的编码与译码、信号的调制与解调，以及信息的处理等问题。 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。广义信息论 信息论发展的第三个阶段是广义信息论。广义信息论远远超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的获取、计量、传输、储存、处理、控制和利用的一般规律。 广义信息论与所涉及学科及其交集 通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。 信息论视域下的广义通信模型 1949年，香农又发表另一重要论文《在噪声中的通信》。在论文里，香农提出：信息的传播过程是“信源”（信息的发送者）把要提供的信息经过“信道”传递给“信宿”（信息的接收者），信宿接收这些经过“译码”（即解释符号）的信息符号的过程。并由此建立了通信系统模型。 有扰信道的通信系统模型信源编码器，提高传输效率编码器信道编码器，提高传输可靠性这个模型包括以下五个部分：1.信源 信源是产生消息的源。2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。3. 信道 信道是信息传输和存储的媒介。4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。5. 信宿 信宿是消息的接收者。2.2 信息的度量根据香农的有关信息的定义，信息源所发出的消息带有不确定性。显然，信息量与不确定性消除程度有关。消除多少不确定性，就获得多少信息量。在信息论中，把消息用随机事件表示，而发出这些消息的信源则用随机变量来表示。不确定性的大小可以直观地看成是事先猜测某随机事件是否发生的可能程度。 由于信息源发出的消息是随机的，可以用随机变量来表示。定义一个随机事件所含的信息量称为x的自信息量，即：式中I(x)代表的自信息量，p(x)为事件出现的概率。自信息的含义包含两方面： 事件发生前：事件发生的不确定性 事件发生后：事件包含的信息量 ?? 自信息量的度量 自信息量计算示例【例：2-2】自信息量计算示例信息熵是从整个信息源的统计特性来考虑的，它从平均的意义上来表示信息源的总体信息测度，它表示信息源X在没有发出消息以前，信宿对信息源X存在着平均不确定性。平均自信息量—信息熵平均自信息量—信息熵信息熵计算示例【例：2-5】解信息熵计算示例2.3 模拟信号与数字信号 真实的世界是模拟的，但整个世界正在走向数字化的世界。但是，必须清楚的意识到，先进的数字技术所带来的种种优势或者便利，必须以同样先进的模拟技术为基础，因为只有模拟技术才能将数字世界中的“1”或“0”转换为人们真正能听到、看到、感受到、观察到的模拟信号。 什么是模拟信号在自然界中，人