信息论与其他学科的关系和应用.ppt

信息论与其他学科的关系和应用 主要内容 信息论与热力学 信息论与光学 信息论与生物医学 熵的起源 热力学中的熵 信息论中的熵 二者之间的关系 对于二者关系的争论： “麦克斯韦妖”问题 1）描述 2）解决 back 熵的起源 Entropy 希腊字母 原意：转变 来源于热力学 最早由法国物理学家克劳修斯（K.Clausius）在《热力推动说》中提出 经典热力学中，物理系统熵的变化计算： 热力学中的熵 热力学熵是系统紊乱程度的测量 热力学熵是一个物理系统的无组织程度的度量，是系统无序状态的描述，使状态无序性的表现。 热力学第二定律指出：一个系统在孤立的封闭状态下，总是自发的由有序状态，走向无序状态，使熵增加。 例如：墨水的扩散，一个被隔板分开的两部分气体的混合等。 信息论中的熵 信息论中的熵也可以看作紊乱程度的度量 有秩序的信源其熵最小，无秩序的随机信源其熵最大。 信息熵是动态的。当信息通过系统传输到收信者后，信源的熵要改变。 二者之间的关系 热力学熵的不减原理和信息熵不增原理 信息熵和热力学熵的数学表达式是一致的，二者只差一个负号。 二者有内在的度量关系 热力学熵的不减原理：在任何系统的演化中，系统的总熵是永远不会减少的。 信息熵的不增原理：信息熵只会减少，不可能增加。尤其信息经过传输和处理熵只会减少。 back 信息熵是消除不定度所需要的度量，而热力学熵是系统混乱程度的度量。要使混乱的系统有序化就需要有信息，而信息的丢失就表示系统混乱程度的增加。一个系统有序程度增高，则熵就减少，所获取的信息就越多，反之，一个系统无序程度增高，则熵增大，所丢失的信息越多。 back 在N个等概率状态的物理系统中，输入能量Q，对应的热熵的变化为： 其中： 则：1（比特）＝kln2(J/K) 要获得一比特的信息，相应要消耗的能量约为0.957x(10-23)(J/K)。可见，信息的获取必须借助于一定的物质过程，并伴随着消耗一定的能量。 back 麦克思韦妖的描述： 著名的物理学家麦克思韦于1971年提出了第二类 永动机模型，既“麦克思韦妖”。 back 解决 容器是封闭的孤立系统，Ta＝Tb＝T，麦克思韦妖是出于温度为T的封闭体系中。 平衡体内是绝对黑体，处于绝对黑体中的妖魔是不可能看清任何东西的。所以，麦克思韦妖无法分辨分子运动的速度 back 简介光学信息论 光学信息量 光量子信道的信道容量 最大熵光学图像恢复 back 光是支撑人类生命的一种主要能源，也是提供人类信息的主要信息源。由于光的存在，人眼才能获取大量的信息。光所提供的信息内容及其丰富，涉及极抽象的艺术到极深奥的科学。 光学是人们获取信息的最基本和有效的手段之一，光信道是人们存储和传递信息的有效手段之一。 光学和信息论的结合形成了一门独立的学科----光学信息论。