测量信息论基础几个基本概念.ppt

第二章 测量信息论基础 “信息”一词是本世纪20年代人们在研究通信的一般规律时由哈特来（R.V.Hartley）等人提出。而仙农（C.E.Shannon）在1948年发表的通信的数学理论的著名论文中奠定了信息论的理论基础。 信息论源于通信工程，背景是关于通讯中的： ⒈ 信息传输的效率 ⒉ 信息传输的准确性 ⒊ 噪声干扰 ⒋ 信道频率特性 广义通信系统，即信息流通系统 广义通信系统模型 信息从信息源（information source）传送到信宿。 发信器（transmitter）又称编码器，把信息变换成物理信号。 受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。 信宿（destination）是信息传输的对象。 信息的定量描述——信源模型与信息熵。 自然科学通常都应作定量的描述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。 Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。 信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。 由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。 离散信源模型 离散信源模型是离散型概率空间，即: 信源状态的出现是不相容的。 例如：抛硬币 用超声波检测物体内部有无裂纹 自信息 某事件发生所含有信息量称为自信息，它是该事件发生的先验概率的函数，即 I（xi）=f[P（xi）] P（xi）是事件xi发生的先验概率； I（xi）表示事件xi发生所含有的信息量。 信源中某一状态发生的先验概率很小，但一旦发生，所获得的信息量就多。 例如：一台新机器，具有正常工作和发生事故两种可能状态。 正常工作概率为P（x1）=0.99， 发生故障概率为P（x2）=0.01。 一旦发生故障，则是一件引人注目的事件。 I（xi）与P（xi）有以下关系： I（xi）是P（xi）的单调递减函数； 当P（xi）=1时，I（xi）=0，必然事件信息量为零； 当P（xi）=0时，I（xi）=∞，不可能发生的事件发生了，信息量为无穷大； 两个独立事件的联合信息量，应等于它们各自信息量之和。 I（xi）与P（xi）关系用下图表示： I（xi）代表两种含义： A. 当事件xi发生以前，表示事件xi发生的不确定性； B. 当事件xi发生以前，表示事件xi所含有的信息量。 熵---新的世界观 地球是一个封闭系统，其能源、资源和容积有限，人类会的发展增长必然有一个极限。 热力学定律 熵的概念是从热力学引导出来的。 热力学第0定律：温度与热平衡。 1709年荷兰G。D。Fahrenheit建立华氏温标， 1742年瑞典天文学家A。Celsius建立摄氏温标， 热力学第一定律(能量守恒定律)：能量是守恒的、不灭的，只能从一种形式转变成另一种形式。从而否认了第一类“永动机”。物理学家焦耳经30年的研究，于1848年提出。 热力学定律 热力学第二定律（熵增加原理）：研究热效率，否认了第二类“永动机”（即认为能量是取之不竭的）。1850年科学家克劳休斯/1851年科学家开尔芬提出。 热力学第三定律：绝对温度0K不可达定理，即称能斯脱定理。1906年科学家能斯脱提出。如果一个系统的温度趋近于绝对温度0K时，其熵趋于0，且不随时间而变化，即有： 实验证明：是不能达到的，因此，上式也不可能实现。 熵（Entropy） 熵的定义： 在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然有热能，但如果周围的环境温度与蒸汽一样，则蒸汽的热能就无法利用。如果周围温度略为降低，则一部分蒸汽的热能就可变为功，而仍有一部分不能利用。不论在任何热力体系中，这种不能利用的热能可以用热能除以温度所得的商来量度它，这个商就定义为熵。 熵的特性 物理学家R.Clausius提出了热熵的概念，它是热系统的一个状态函数，反映状态的多样性和不可期望性的程度。 在热力学中，“熵是能量转变为有用功的能量多少的量度” 根据物理学原理，自然界具有三种平衡： 力学平衡 热平衡 化学平衡 一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大，不能作功的能量就愈多，能量的品质就愈差。 熵的特性 能量只能不可逆转地沿着一个方向转化，即从对人类来说是可利用的到不可利用的状态，从有效的到无效的状态转化。用加尔文的话说：这种无效能量已从人们那里不可挽回地失去了，尽管它并没有消灭。 熵就是这种不能再被转化作功的能量的总和，即熵是无效能量（无