【精品】信息论与编码论文.docxVIP

论最大熵原理及其应用摘要：熵是源于物理学的基本概念，后来Shannon在信息论中引入了信息熵的概念， 它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。最大熵原理是 一种在实际问题中已得到广泛应用的信息论方法。本文从信息熵的概念出发，对最大熵 原理做了简要介绍，并论述了最大熵原理的合理性，最后提及它在一些领域的应用，通 过在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应 用有更深刻的理解。关键词：熵；信息熵；最大熵原理；不适定性问题1 引言科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域， 信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛 应用于各个领域。信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、 安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。1948年C.E.Shannon为解 决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互 信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进 行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生 的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本 领域中的问题。近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了 广泛应用，并取得了许多重要的研究成果。迄今为止，较为成熟的研究成果有：E.T.Jaynes 在1957年提出的最大熵原理的理论；S.K.Kullback在1959年首次提出后又为J.S.Shore等人 在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov在 1956年提 出的关于信息量度定义的三种方法——概率法，组合法，计算法；A.N.Kolmogorov在1968 年阐明并为J.Chaitin在1987年系统发展了的关于算法信息的理论。这些成果大大丰富了信 息理论的概念、方法和应用范围。在信息论中，最大熵的含义是最大的不确定性，它解决的一大类问题是在先验知识不充 分的条件下进行决策或推断等。熵方法在谱估计、图象滤波、图象重建、天文信号处理、专 家系统等中都有广泛的应用。最大熵原理在实际问题中的应用近年来一直在不断地发展。2 信息熵的概念信息熵是将熵概念成功地扩展到信息科学领域。熵是描述客观事物无序性的参数，它最 早是由R.Clausius于1865年引入热力学中的一个物理概念，通常称之为热力学熵。后来L.Boltzmann赋予熵统计意义上的解释，称之为统计热力学熵。1929年，匈牙利科学家Lszilard 首先提出了熵与信息不确定性的关系，使信息科学引用熵的概念成为可能。1948年，贝尔 实验室的C．Shannon创立了信息论，熵的概念有了新的解释，香农认为信息是人们对事物 了解的不确定性的消除或减少，他把通讯过程中信源讯号的平均信息量称为信息熵，现在 一般称之为香农熵，实现了信息熵的实际应用，从此对信息熵的研究，随着信息科学的发展 而得到不断的发展。香农将随机变量X的信息熵定义为：H ( X)Nnn—p l ogpn 1nn式 中 ， p 为Xx的概率分布，n=1,2，…，N；当对数底数取2时，信息熵的单位为bit/sign；取自然对数时，单位为nat/sign；取常用对数时，单位为hart/sign。它代表了信源 输出后每个消息所提供的平均信息量，或信源输出前的平均不确定度。信息熵的定义使随机 变量的不确定性得到了量度，使信息论得到了空前的发展。而且，信息熵具有的凸函数性质使得它特别适合作为优化问题中的目标函数，这同时也 为信息论概念和方法在除通信领域以外的其他领域内的应用提供了理论基础，拓宽了信息论 的应用范围。3 最大熵原理香农提出的信息熵的概念很好地解决了随机事件的不确定性程度的度量问题，但没有解 决随机事件的概率是如何进行分配的问题。设想有一个可观测的概率过程，其中的随机变量x取离散值 x1， x2，…， xn，如果从观测的结果知道了这个随机变量的均值、方差等特征值，怎样才能确定它取各离散值的概率 P1， P2，…， Pn呢？一般地，满足可观测值的概率分配，可以有无限多组。那么究竟应当选哪一组呢？即在什么意义下，所选出的一组概率才 是最可能接近实际的呢？在项目决策实际中，有些随机事件不能直接计算其概率，也无法知 道其频率，通常只能取得与该随机事件(或随机变量)有关的一个或几个平均值，从理论上讲， 对于给定的随机变量，如何获取最为合适的一个分布呢？1957年，E.T.Jaynes在“信息论与统计力学”一文中，提出一个选择准则：“当根据部 分信息进行推