《普通物理学教程 热学（第三版）》信息熵.pptVIP

§5.4.2 信息熵 十分类似。 实际上信息就是熵的对立面。 因为熵是体系的混乱度或无序度的数量， 但获得信息却使不确定度减少，即减少系统的熵。 ? ? 为此，香农把熵的概念引用到信息论中，称为信息熵。信息论中对信息熵的定义是 对照，发现其不同仅在对数的底上， 前者为“e”，后者为“2”，因而差一个系数 K，显然 K = 1.443。 下面举一个掷钱币的例子来说明信息熵与信息量之间的关系。 设有五个人每人手中各持一枚钱币并排成一行掷钱币，看落地时所形成的国徽面向上的分布图形。 因每一钱币国徽面向上的概率为1/2 ，由独立事件概率相乘法则知，总共可能出现 25 种图形，其不确定度为 25。 但是只要分别对五个人问五个相同的问题：“你这枚钱币的国徽而是向上的吗?”并得到正确的答案,则图案就完全确定了.说明在提问之前掷钱币这一事件的信息熵为 知 ?I = 5 bit， 由此可见，信息的利用(即不确定度减少，因而信息量减少，或者说信息量的欠缺)等于信息熵的减少，因而有? 热力学指出，孤立体系的熵绝不会减少，相应地 ，信息量也不会自发增加。 在通讯过程中不可避免会受到外来因素干扰，使接收到的信息中存在噪声，信息变得模糊不清，信息量减少.。若信号被噪声所淹没，信息全部丢失。 §5.4.3 麦克斯韦妖? 19世纪下半叶，在第二定律成为物理学家的热门话题时，麦克斯韦曾虚构了一 个小盒子，这个盒子被一个没有摩擦的、密封的门分隔为两部分。 当它看到一个快速气体分子从 A 边飞来时，它就打开门让它飞向 B 边， 而阻止慢速分子从 A 飞向 B 边； 同样允许慢速分子(而不允许快速分子)从 B 飞向 A . 对这与第二定律矛盾的设想，人们往往作这样的解释，当气体分子接近小妖精时，他必须作功. 1929年西拉德(Szilard，1898-1964)曾设想了几种由小妖精操纵的理想机器，并强调指出，机器作功的关键在于妖精取得分子位置的信息,并有记忆的功能. 在引入信息等于负熵概念后，对此更易解释 ： 小妖精虽未作功，但他需要有关飞来气体分子速率的信息。 在他得知某一飞来分子的速率，然后决定打开还是关上门以后，他已经运用有关这一分子的信息。 信息的运用等于熵的减少，系统熵的减少表现在高速与低速分子的分离。 不作功而使系统的熵减少，就必须获得信息，即吸取外界的负熵。但是在整个过程中 总熵还是增加的， 法国物理学家布里渊(Brillouin)于1956年在《科学与信息论 》一书中指出： 若要能看到分子必须另用灯光照在分子上，光会被分子散射，被散射的光子为小妖精的眼睛所吸收. 这一过程中涉及到热量从高温热源转移到低温热源的不可逆过程， 致使熵增加。 而前者系统减少的熵总是小于后者增加的熵。 §5.4.4信息处理消耗能量的下限 香农虽然提出了信息熵和概念，他并未指出信息熵与热力学熵之间的关系。 这种同一函数、同一名称的出现在物理学家中引起极大兴趣。 布里渊在解释麦克斯韦妖时指出，如果没有足够的信息来控制分子的运动方向，“妖精”的活动就不可能。因此，这种不消耗功的“妖精”是不存在的。 为此，他利用玻尔兹曼关系建立了信息和能量之间的内在联系，并以定量计算表示出来。 他认为，在有 N 个等概率状态的物理系统中，若输入能量 Q ，则所对应的信息熵的变化为 ? S = Q /T = k log N 其中 k 为玻耳兹曼常量，T 为绝对温度。若该系统仅有两种等概率状态，即 N = 2，则系统相应的信息熵的变化 ?S = kln2，根据信息熵的单位 bit 的定义可知它等于 1bit，故 ? 例如，若要使计算机里的信息量增加1bit，则其热力学熵应减少 ?S = kln2 ， 而这种减少是以计算机向环境放热(即环境从计算机吸热)因而环境至少增加这么多的熵为代价的。 在温度 T 下计算机处理每个bit，计算机至少要消耗能量 kT ln2 ，这部分能量转换为热向环境释放。 这一点说明了两个重要问题： ① 即使没有任何耗散等不可逆因素，维持计算机工作也存在一个能耗的下限，这一理论下限为每bit消耗kTln2 的能量。 但实际能耗的数量级要比它大得多， 例如当代最先进的微电子元件，每bit的能耗在 108kT 数量级以上； ② 即使没有任何耗散等不可逆因素，计