熵在数据分析中的应用研究.pdfVIP

维普资讯 熵在数据分析 l【】帕应用砷穷 何 大义 (中国地质大学(北京)人文经管学院，北京 100083) 摘 要：本文从极大熵准则出发，在信息熵定义的基础上给出了数据的等值性、等值度、等偏性 以及等偏度的定义，并讨论了这些概念的一些基本性质及其应用，为数据分析提供了一种新的思路 和方法 。 关键词：熵；极大熵准则；数据分析 中图分类号：0236 文献标识码：A 文章编号：1002—6487(2005)04--0027-03 布是最合理的，而均匀分布对应着最大熵分布。 0 引 畜 事实上，我们可以证明在只有非负性和正则性条件时， 均匀分布是最大熵分布，即求证下述的一个最优化问题有唯 熵在被提出之初 (1854，Clausis)是作为热力学的一个基 一 解。 本概念，用来度量一个系统中分子运动的混乱程度。1948 maxH()()：∑pilnpi 年，美国的通信工程师Shannon在研究信息传输过程中不确 定性问题时。提出了信息熵的概念，将信息定义为不确定性 t ∑p。：1(正则性) 的减少，而不确定性可以通过熵来度量。这一定义使熵不再 局限于热力学的范围内，而是 日益渗透到不同的学科领域， Pi≥O(非负性) 为熵的应用带来了革命性的变化。而随后在 1957年Jaynes 通过运用Lagrange方法，可以求得p- ，从而证明了 提出的极大熵准则以及 1959年Kullback提出的极小交互熵 准则更是极大地丰富了熵的运用，开辟了熵研究与应用的新 当P=(}，…，)时，即均匀分布时熵是最大的。 天地。现在，熵的应用涉及信息论、控制论、系统科学、政治 科学、哲学、经济管理、决策科学等诸多学科领域。 2 熵 指 标 横 墨 本文研究了一个熵在数据分析中的运用问题。我们知 道数据分析在科学研究中有着重要的意义，现在最为常用的 从上述的极大熵准则可知，当在既有信息条件下选择最 两个指标为均值和方差，分别描述数据的中心位置和偏离均 大熵分布是合理的，又因为熵本身是一个连续的函数，熵越 值的程度。而本文从熵的角度所定义的等值性、等值度、等 大时该分布越接近均匀分布，而在均匀分布时各分量是相等 偏性以及等偏度的概念则反映了数据的相等性以及偏离均 的，所以，反过来熵的大小也反映各分量的相等性。这为我 值程度的相等性，为数据分析提供了一种新的思路和方法。 们分析数据的等值性提供了一种方法。 定义 l(等值性)设随机变量x的一个样本容量为n的 1 极 大熵 准 则 样本观察值为(x 一，x)，当xi10时，我们将 极大熵准则是由Jaynes明确提出来的 该准则是一种 Ev一∑ ／∑XiIx／∑Xi i= I i= I i= l 分布推断方法，