测量信息论基础——几个基本概念.pptVIP

第二章 测量信息论基础 “信息”一词是本世纪20年代人们在研究通信的一般规律时由哈特来（R.V.Hartley）等人提出。而仙农（C.E.Shannon）在1948年发表的通信的数学理论的著名论文中奠定了信息论的理论基础。 信息论源于通信工程，背景是关于通讯中的： ⒈ 信息传输的效率 ⒉ 信息传输的准确性 ⒊ 噪声干扰 ⒋ 信道频率特性 广义通信系统，即信息流通系统 广义通信系统模型 信息从信息源（information source）传送到信宿。 发信器（transmitter）又称编码器，把信息变换成物理信号。 受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。 信宿（destination）是信息传输的对象。 信息的定量描述——信源模型与信息熵。 自然科学通常都应作定量的描述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。 Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。 信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。 由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。 离散信源模型 离散信源模型是离散型概率空间，