信息熵的概念.docVIP

信息熵的概念 附录——信息熵 在申农信息理论中所论对象是符号编码系统。为了给出该系统信息编码能力，申农巧妙地变更视点，引入随机事件不确定性观念以及表征不确定性函数H顺利地处置了这个问题。就通讯工程理论而论，问题得到圆满解决，对问题研究也就该截止到这里了。但是，为什么又把这个意义已然明确的不确定性函数叫做信息熵呢？ 如所周知，“熵”是热力学函数，在统计力学中所导出的熵无非是对热力学中提出的熵函数所做出的统计诠释。这就是说，熵函数原本是对物质系统宏观状态演化的数学陈述。可是在信息论中，所论对象不是一个物质系统，而是一个符号编码系统。到底出于什么原因、理由或根据把针对两个性质迥异系统的毫无干系的性状的函数却使用“熵”这个语词做出涵盖呢？我们建立这个附录就是对这一问题做出明确回复的尝试。 我们认为，把这两个相距遥远领域的函数连系在一起的依据就是热力学第二定律。爱因斯坦说过“一种理论前提越为简练，涉及的内容越为纷杂，适用的领域越为广泛，那种理论就越为伟大。经典热力学就是因此给我留下了极其深刻的印象。我相信只有内容广泛而又普遍的热力学理论才能通过其基本概念的运用而永远站稳脚跟。”[1] 我们在本书第三章阐述如何使语言信息编码和信息之间保持单义性的举例中，引述过热力学第二定律。当然，这样的语言形态确实给人一种不食人间烟火的感觉。其实，热力学第二定律的作用早就为人们所知晓，以至达到日用而不知的地步了。在英语中的虚拟语气就是这种观念在信息符号编码关系上的反映。如“ If I were young. ”实际上能再“ young ”一次吗？此外，沸水不再加热，放置在室内最终会凉下来。而不对凉水加热，凉水绝对不会自动升温达到沸腾，同样，不对凉水冷却，凉水也绝对不会自动结冰。上述这些情况都显示出热力学第二定律的作用。倘若有人坚持声称确有上述现象，不但没人相信，甚至会建议此人该接受心理治疗以消除其妄想狂。由此可见，人们对热力学第二定律的认识该有多么深刻了。以我们引述形态显示的热力学第二定律只是出于使陈述满足单义性、普遍性要求才被“加工改造”成这么个形态，其基本精神依然未变。 在我们对熵函数跨越物理系统和信息编码系统之间关系研究中，必然要引用物理学、信息论和数学等研究结果。这些结果都是上述学科中的基础内容，因此，无须在这里重复陈述。涉及热力学和统计物理学内容可以参考苏汝铿编著的《统计物理学教程》，信息熵可参考周炯槃编著的《信息理论基础》，概率论部分可参考复旦大学编写的《概率论》。综合陈述可参考冯端等撰写的《熵》。下面我们先将热力学、统计物理学和信息熵罗列出来，分别明确其内涵，然后再进行横向比照，寻求其相通之处，进而明确把信息编码不确定性叫做信息熵的理由和根据。 1.热力学熵函数 尽管热学或热力学的内容早已突破以获取机械功为目标的热功转化的研究探讨范围，但是从热力学第零、一、二定律以及与其相关的诸如平衡态、准静态过程、状态参量、过程方程等概念体系中依然鲜明地显示出这个历史痕迹。从以获取机械功为目标的热功转化这一研究导向审视热力学概念体系，那么诸如平衡态、准静态过程、状态参量、过程方程等就是落实这一研究导向所必须的步骤，而不是在某些热力学教程中显示出来的，为使概念体系逻辑关系严整而进行的必要的安排。 从当前的视点看，以上述导向研究其阶段性成果就是工程热力学。就其发展进程顺序看，这同时也是热力学进展肇始期间的研究导向。当然，热力学的研究范围不可能局限在这里，必定要拓展开来。但是在拓展中所使用或凭借的概念体系只能是来自工程热力学中的概念体系，即使此后出现的超越乃至变更也只能是相对于工程热力学概念体系的超越和变更。从超越和变更的意义上说，依据上述研究导向来明确工程热力学的概念体系就十分必要了。只有明确了借以超越的基础之后，才能明确在哪里超越，超越了什么以及超越的程度。 以获取机械功为目标的热功转化的研究导向不是物理学自身演化的表现，而是人类社会需求的反映。人类生存需要能量。人类生存最直接的能量需求除去食物之外就是机械功了。机械功就是超越各种具体条件的，对实际功效的一种普适的量度。这种基于生存需求所导致的对机械功的获取，必然表现在对物理上本来平等的各种能量形态选择上介入了人类自己的价值取向。这就是把机械功看作是最有价值的能量，并且成为评价能量“品质”的标准。在热力学中诸如热效率、可用能以及热贬等概念无一不是这种人类价值取向的反映。 回顾热力学进展可以看出，就热功转化而言，这一转化的物理机制在卡诺那里已然完成了。虽然卡诺使用的是热质论，然而这毕竟是一种机制上的解释。这个问题在许多物理教程中趋避犹恐不及，更遑论陈述。只有在王竹溪著的热力学教程中给出用热质论证明卡诺定理。就工程应用看，提出基于热质论热量，冷量并无不可，甚至更便于陈述操作。 就物理学而论，由于热功当量实验否定