信息论基本概念要点.pptVIP

信息论基本概念 概要 基本概念 链式法则 Jensen不等式 数据处理不等式 费诺不等式 渐进均分性定理 数据压缩(AEP的推论) 基本概念-熵 X是一个离散随机变量, 取值空间为X, 概率密度函数p(x)=Pr(X=x), x?X; 定义 一个离散型随机变量X的熵H(X)定义为 H(X)=-?x?Xp(x)log p(x) 单位为比特(2为底), 奈特(e为底); 规定0log0=0; H(X)?0; Hb(X)=logbaHa(X); H(p)=-plogp-(1-p)log(1-p); 基本概念-联合熵与条件熵 定义 对于服从联合分布为p(x, y)的一对离散随机变量(X, Y), 其联合熵H(X, Y)(joint entropy)定义为 H(X, Y)=-?x?X?y?Yp(x, y)logp(x, y) 亦即 H(X, Y)=-Elogp(x, y) 定义 若(X,Y)?p(x, y), 条件熵(conditional entropy) H(Y|X)定义为: H(Y|X)=?x?Xp(x)H(Y|X=x) =-?x?Xp(x) ?y?Yp(y|x)logp(y|x)