《信息论基础A》(清华)复习资料.docVIP

信息论资料 作者 第一章 概论 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息 归纳起来，香农信息论的研究内容包括： 信息熵、信道容量和信息率失真函数 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 信源编码、信道编码理论与方法 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。 信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。 第二章 离散信源及离散熵 单符号离散信源的数学模型： 自信息量：，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley) 自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。 单符号离散信源的离散熵： ，单位是比特/符号(bit/symbol)。 离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理： 如果除概率分布相同外，