信息熵的性质及应用.docVIP

信息熵的性质及应用 科技信息 博士·专家论坛 信息熵的性质及应用 宝鸡文理学院数学系 张姗姗 ［摘要］信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应 用。 ［关键词］信息熵性质应用信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。 １．基本概念 Ｘｘ１ｘ２…ｘｎ 设一个离散型随机变量和它的概率分布为。任＝ Ｐｐ１ｐ２…ｐｎ 意随机事件的自信息量［１］定义为该事件发生概率的对数的负值，即Ｉ（ｘｉ）＝－ｌｏｇｐｉ。 自信息量Ｉ（ｘｉ）是指某一信源Ｘ发出某一消息信号ｘｉ所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一 香农将平均自信息个随机变量，它不能用来作为整个信源的信息测度。 集合Ｘ中的各事件等概率发生时，熵值达到极大值，且ｎ越大，熵 值越大。 ２．７上凸性Ｈｎ（ｐ１，ｐ２，…，ｐｎ）是概率分布（ｐ１，ｐ２，…，ｐｎ）的严格上凸函数。３．熵的应用 熵是信息理论中一个非常重要的概念，它是衡量一个随机变量取 而就数据集合而言，熵可以作为数据集合的不规则值的不确定性程度。 程度的量度，所谓的不规则程度指的是集合中前后数据元素之间时序依赖关系的强弱。对一个具体的系统来说，如果这个系统随机性很大、非常混乱、毫无秩序，则此系统的信息熵就一定很大。反之，如果一个系统是确定的、具有一定的规则、服从一定的秩序，则此系统的信息熵就 可以把信息熵引申应用到对事物集合中一些相互对立性一定小。因此， 质的量度，判断事物集合中的有序与无序、确定性与随机性、组织性与散 规则性与杂乱性、简并性与多样性，并对其相互对立的概念进行漫性、量度。 结合信息熵的性质，它的应用十分广泛，在各个学科中都有它的影子。目前文献中信息熵在具体问题中的应用有信息熵在教学质量分析中的应用［４］，信息熵在学生评教结果分析中的应用探析，信息熵在数据集分割中的应用，信息熵方法及其在教育信息处理中的应用，信息熵在缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究，信息熵在设计风险管理中的应用研究，信息熵在大型水利水电工程网络管理系统信息集成中的应用，信息熵在体育综合服务质量模糊评价中的应用，信息熵在水污染物总量区域公平分配中的应用，信息熵在项目沟通管理中的应用，信息熵在竞争情报计量分析中的应用，信息熵在体绘制视图选取中的应用，信息熵在基因调控网络构建中的应用，信息熵在入侵检测中的应用，信熵在建设工程评标中的应用，信息熵在农业技术扩散中的应用研究，信息熵在电子测量误差分析中的应用，信息熵在临床定量诊断分析中的应用，信息熵在建筑工程管理中的应用，信息熵在粗糙集理论中的应用，信息熵在优化问题中的应用，信息熵方法在胃癌诊断中的应用，信息熵在泥沙研究中的应用，信息熵在煤田勘探中的应用，信息熵理论在安全系统中的应用，信息熵在临床医学中的应用，信息熵在水系统中的应用研究，信息熵在现代生物医学中的应用，信息熵理论在煤炭企业经济效益评价中的应用等。 ４．结束语 信息熵的应用还远远不止文中列出的具体应用，这需要更多的人去学习信息熵的相关知识，利用信息熵这个有力的工具去研究或解决自己学科中的相关问题，所以我们相信信息熵的应用前景十分广阔。参考文献 ［１］曹雪虹，张宗橙．信息论与编码［Ｍ］．北京：清华大学出版社，２００４．［２］沈世镒，吴忠华．信息论基础与应用［Ｍ］．北京：高等教育出版社，２００４． ［３］周荫清．信息理论基础［Ｍ］．北京：北京航空航天大学出版社，２００６． ［４］张少艳．信息熵在教学质量分析中的应用［Ｊ］．红河学院学报，２００７年第５卷第２期：７７－７９． ———— ｎ 量定义为信息熵，简称为熵。即Ｈ（Ｘ）＝Ｅ［Ｉ（ｘｉ）］＝－Σｐｉｌｏｇｐｉ。 ［２］ ｉ＝１ 香农熵Ｈ（Ｘ）是概率分布ｐ１，ｐ２，…，ｐｎ的函数，故Ｈ（Ｘ）＝Ｈ（Ｐ）＝Ｈ（ｐ１，ｐ２， ｎ …，ｐｎ）。因Σｐｉ＝１，所以Ｈ（Ｐ）实际上是（ｑ－１）元函数。 ｉ＝１ ２．熵的性质 ２．１对称性 设某一概率系统中ｎ个事件的概率分布为（ｐ１，…，ｐｎ），当对事件位置的顺序进行任意置换后，得到新的概率分布为（ｐ１＇，…，ｐｎ＇），并有以下关系成立： Ｈ（ｐ１，…，ｐｎ）＝Ｈ（ｐ１＇，…，ｐｎ＇） 它表示概率系统中事件的顺序虽不同，但概率系统的熵值是不变的，即概率系统的熵与