第三章节：信息论基础知识幻灯片.pptVIP

§3-4 连续信源及最大熵定理 连续信源的信息测度可以用离散信源的信息测度来逼近。假定随机变量X的概率密度函数如图所示，将取值区间(a，b)分成n个小区间，任一小区间的概率为： 这时离散信源的熵： 当Δx→0，n →∞时，若极限存在，即得到连续信源的熵： §3-4 连续信源及最大熵定理 二、最大熵定理 熵h(x)是概率密度函数p(x)的函数，在信息处理过程中，常常希望求得最大熵，即找出p(x)是什么样的函数时能使连续信源的熵具有最大值。在离散信源中，已经证明，当信源的输出状态是等概率分布时，信源的熵取最大值。在连续信源中，情况有所不同，当各约束条件不同时，信源的最大相对熵值不同，有两种情况。 一般情况下，上式的第一项是定值，而当Δx→0时，第二项趋于无限大。所以避开第二项，定义连续信源的熵为： §3-4 连续信源及最大熵定理 峰值功率受限条件下信源的最大熵 当信源输出信号的峰值功率受限，即信号的取值区间被限定在某一范围(a,b)之内时，则在限定的范围内，当输出信号的概率密度是均匀分布时，信源具有最大相对熵。 此式表明，熵是幅值区间(a，b)的函数，即在峰值功率受限条件下，幅值区间越大，则熵值越大。这也说明，信号的波动范围越宽，则系统的不定性程度越大。 §3-4 连续信源及最大熵定理 平均功率受限条件下信源的最大熵 若一个信源输出信号的平均功率有限，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵。 一维随机变量X的概率密度分布为： 这个连续信源的熵： 可见，正态分布的连续信源的熵与数学期望m无关，只与其方差σ2有关。当m=0时，X的方差就等于信源输出的平均功率。 §3-4 连续信源及最大熵定理 这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声的统计特性一样时，才会有最大的熵值。从物理意义上解释这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。 为什么在平均功率受限条件下正态分布信源的熵最大，亦可作如下解释。当限制平方平均值时，由于大的幅值x平方后变得更大，因此出现的次数不可能太多，所以x值愈增大，出现的概率就愈小，而且对于x的正负值是对称的。若x较小，则概率尽可能相同时，熵变大。在接近x=0时，变得接近于平均的均匀分布，故有正态分布形式。 §3-5 信息与熵的守恒定理 熵描述了系统的不确定性程度，而信息则是消除了系统不确定性(或事件发生以后)而得到的东西。因此，熵与信息通过一个简单的守恒定律相联系，即一个体系的信息与熵的和保持恒定，并等于该体系在给定条件下所能达到的最多信息或最大熵。在数学上可以表达为： H和I分别表示熵和信息的实际值；Hmax和Imax则分别表示系统熵和信息的最大的可能值。 掷硬币，在末抛下之前，出现正面与反面的可能性是未知的，系统存在着不确定性，其概率空间为： 在未掷之前，先验概率p(x1)＝p(x2)=0.5，故有先验概率空间： 此时，系统的原始熵Hmax＝1。 §3-5 信息与熵的守恒定理 硬币抛下之后，则其后验概率空间变为： 此时，已消除了系统的不确定性，其熵H＝0。因此，观测后实得信息应是两个概率空间变化量，即： I＝１－０＝１　　［bit］ 思考题（作业） 1、某装置的正常工作温度保持在35—40℃之间。在35 ℃以下时停止使用，等待升温；在40 ℃以上时，也停止使用，进行强制冷却。已知25%的时间在35 ℃以下，5%的时间在40 ℃以上。求以下三种生产报告所具有的信息量：（1）“不能使用”；（2）“能使用”；（3）“因为装置在冷却中不能使用”。 2、即将举行甲—乙、丙—丁两场足球赛，根据多次交锋记录，甲—乙间胜球比例为8:2，丙—丁间胜球比例为5:5。试比较两场球赛的不确定性。你将选看哪一场比赛？为什么？ 3、某机器的故障率为6%，其原因分析为：机械方面的占32%，电气方面的占12%，材料方面的占56%。考查“是机械故障”这一消息的信息量以及对于预先知道有故障的人得到“是机械故障”这一消息的信息量之间的差别。 4、一帧黑白电视图像是由500行和600列的像点所组成，有10种不同的黑白亮度，如各种不同组合的图像出现的概率相等，问出现一种图像时其熵值多大（即确定性程度）？ 科学技术高度发展的今天，人们已普遍认识到，科学技术发展的三大支柱(能源、材料、信息)之一信息科学，占有头等重要地位。 信息论是信息科学的理论基础，是运用数理统计方法研究信息的获取、变换、传输与处理的新兴学科，广义信息论已广泛地渗透于各种科学领域。 在工程技术领域，测试是从客观事物中提取有关信息的认识过程，因此，测试技术属于信息科学范畴。将信息论引入工程测试领域，对于促进工程技术的发展，拓宽和深入理解工程技术的各种问题，具有十分重要的意义。 第