对信息熵的探讨.pdfVIP

第3 卷 第 1 期 辽 宁 高 职 学 报 Vol.3, No. 1 2001 年 2 月 LIAONING HIGHER VOCATIONAL TECHNICAL INSTITUTE JOURNAL Feb. 2001 文章编号：1009—7600 （2001）01—0059—03 对信息熵的探讨 敖 红 （抚顺职业技术学院，辽宁抚顺：113006） 摘 要：阐述了熵在信息论中的意义，并分别用信息源的随机变量数和几率推导出信息熵与物理 熵具有统一表达式。 关键词：信息熵；物理熵 中图分类号：G 201 文献标识码：A 信息作为科学的概念，有它自身的特殊性，有着确切的含义，并可定量度量。熵最初作为热 力学中的一个十分重要的态函数有着确切的物理意义。现如今，它的应用已远远超出这一范畴， 广泛运用到信息论、控制论等其它领域中。由此而出现了信息熵。笔者研究发现，信息熵并没有 脱离物理熵而单独存在，它和物理熵可用一统一表达式来表示，它们具有一定联系。 1．信息熵的意义 信息源（简称信源）是产生消息（或符号）和消息序列的源。以一个最简单的离散信源X 为 例，其概率空间（既信源的数学模型）X : x 1 ,x 2 , L x i , L , x q ,其中p 是事件x 将要发生的几率。如 i i P : p 1 , p 2 , L , p i , L ,p q [1] 果事件x 已经发生，则该事件含有的信息量即自信息 为I （x ）= ﹣kInp ，则信源的平均信息量 i i i 为 q H(X)= ﹣K P InP (1) i i i1 这就是信源的信息熵，它是表征信源总体特征的一个量，具有以下意义。 1.1 信息熵表示信源输出每个消息或符号所提供的平均信息量. 如果一个电码由q 种符号组成，每种符号相对出现的几率为pi ，一个电码携带着一定的信息， q 则平均每种符号携带的信息量为 –K P InP , 这正是该信源的信息熵。 i i i 1 1.2 信息熵表示信源输出消息前信源的平均不确定性 X : x1 x2 Y: y 1 y 2 有两个离散信号源X 、Y ，其概率空间分别是P : 0.99 0.01 ,p : 0.5 0.5 ，两信源的信息熵分别