信息论基本概念材料.pptVIP

信息论基本概念 概要 基本概念 链式法则 Jensen不等式 数据处理不等式 费诺不等式 渐进均分性定理 数据压缩(AEP的推论) 基本概念-熵 X是一个离散随机变量, 取值空间为X, 概率密度函数p(x)=Pr(X=x), x?X; 定义 一个离散型随机变量X的熵H(X)定义为 H(X)=-?x?Xp(x)log p(x) 单位为比特(2为底), 奈特(e为底); 规定0log0=0; H(X)?0; Hb(X)=logbaHa(X); H(p)=-plogp-(1-p)log(1-p); 基本概念-联合熵与条件熵 定义 对于服从联合分布为p(x, y)的一对离散随机变量(X, Y), 其联合熵H(X, Y)(joint entropy)定义为 H(X, Y)=-?x?X?y?Yp(x, y)logp(x, y) 亦即 H(X, Y)=-Elogp(x, y) 定义 若(X,Y)?p(x, y), 条件熵(conditional entropy) H(Y|X)定义为: H(Y|X)=?x?Xp(x)H(Y|X=x) =-?x?Xp(x) ?y?Yp(y|x)logp(y|x) =-?x?X?y?Yp(x,y)logp(y|x) =-Ep(x,y)logp(Y|X) 基本概念-相对熵与互信息 定义 两个概率密度函数为p(x)和q(x)之间的相对熵(或Kullback-Leibler距离)定义为 规定0log(0/0)=0, 0log(0/q)=0, plog(p/0); 定义 考虑两个随机变量X和Y, 他们的联合概率密度函数为p(x, y), 其边际概率密度函数分别为p(x)和p(y). 互信息I(X;Y)为联合分布p(x, y)和乘积分布p(x)p(y)之间的相对熵, 即: 基本概念-熵与互信息的关系 I(X;Y)=H(X)-H(X|Y) 互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量. I(X;Y)=H(Y)-H(Y|X) X含有Y的信息量等同于Y含有X的信息量. I(X;Y)=H(X)+H(Y)-H(X, Y) I(X;Y)=I(Y;X) I(X;X)=H(X) 基本概念-条件互信息 条件互信息熵: 在给定Z时由于Y的知识而引起关于X的不确定度的缩减量. 定义 随机变量X和Y在给定随机变量Z时的条件互信息(conditional mutual information)定义为 链式法则 定理2.2.1(链式法则) H(X, Y)=H(X)-H(Y|X) 定理2.5.1(熵的链式法则) 设随机变量X1, X2, ..., Xn服从p(x1, x2, ..., xn), 则 H(X1, X2, ..., Xn)=?ni=1H(Xi|Xi-1, ..., X1) 证明: 重复利用定理2.2.1的展开法则可得. 定理2.5.2(互信息的链式法则) I(X1, X2, ..., Xn;Y)=?ni=1I(Xi;Y|Xi-1, ..., X1) 证明: I(X1, X2, ..., Xn;Y) =H(X1, X2, ..., Xn)-H(X1, X2, ..., Xn|Y) =?ni=1H(Xi|Xi-1, ..., X1)- ?ni=1H(Xi|Xi-1, ..., X1, Y) =?ni=1I(Xi;Y|Xi-1, ..., X1) Jensen不等式(1) 定义 若对于任意的x1, x2?(a, b)及0???1, 满足 f(?x1+(1-?)x2)?? f(x1)+(1-?)f(x2) 则称函数f(x)在区间上是凸的(convex). 定理2.6.2 (Jensen不等式)若给定凸函数f和一个随机变量X, 则 Ef(X)?f(EX) 证明: 这里只证明离散分布情形, 且对分布点的个数进行归纳证明. 对于两点分布, 不等式变为 p1f(x1)+p2f(x2)?f(p1x1+p2x2) 这由凸函数的定义可直接得到. 假定当分布点个数为k-1时, 定理成立, 此时记pi’=pi/(1-pk)(i=1, 2, ..., k-1), 则有 其中第一个不等式由归纳法假设得到, 第二个不等式由凸性的定义可得. Jensen不等式(2)-信息不等式 定理2.6.3 (信息不等式)设p(x), q(x)(x?X)为