对信息熵的探讨.docVIP

对信息熵的探讨 第3卷 第1期 辽 宁 高 职 学 报 Vol.3, No. 1 2001年 2月 LIAONING HIGHER VOCATIONAL TECHNICAL INSTITUTE JOURNAL Feb. 2001 文章编号：1009—7600（2001）01—0059—03 对信息熵的探讨 敖 红 （抚顺职业技术学院，辽宁 抚顺：113006） 摘 要：阐述了熵在信息论中的意义，并分别用信息源的随机变量数和几率推导出信息熵与物理熵具有统一表达式。 关键词：信息熵；物理熵 中图分类号：G 201 文献标识码：A 信息作为科学的概念，有它自身的特殊性，有着确切的含义，并可定量度量。熵最初作为热力学中的一个十分重要的态函数有着确切的物理意义。现如今，它的应用已远远超出这一范畴，广泛运用到信息论、控制论等其它领域中。由此而出现了信息熵。笔者研究发现，信息熵并没有脱离物理熵而单独存在，它和物理熵可用一统一表达式来表示，它们具有一定联系。 1．信息熵的意义 信息源（简称信源）是产生消息（或符号）和消息序列的源。以一个最简单的离散信源X为 X: 例，其概率空间（既信源的数学模型）P: [ x1,x2,Lxi,L,xq p1,p2,L,pi,L,pq ] ,其中pi是事件xi将要发生的几率。如 果事件xi已经发生，则该事件含有的信息量即自信息[1]为I（xi）=﹣kInpi ，则信