精选信息论与编码2----信源及信源熵1.pptVIP

* 信息论与编码-信源及信源熵 它表示信源Y每发一个符号的前提下,信源X再发一个符号所能提供的平均信息量.我们称H(X|Y)为X的条件熵.相应地,有 它表示信源X每发一个符号的前提下,信源Y再发一个符号所能提供的平均信息量.我们称H(Y|X) 为Y的条件熵. * 信息论与编码-信源及信源熵 联合熵： 定义为联合符号集合XY的每个元素对(xi,yj)的自信息量的概率加权统计平均值,因此X和Y的联合熵为 它表示X和Y同时发生的不确定度. * 信息论与编码-信源及信源熵 熵的基本性质： 我们已经看到,熵是信源概率空间的一种特殊矩函数.这个矩函数的大小,显然与信源的符号数及其概率分布有关.可见,熵是p(x1),p(x2),…,p(xq)的q元函数,(实际上,因为∑p(xi)=1,所以独立变量只有q-1个,H是(q-1)元函数),一般可写成 H(P)=H(p1,p2,…,pq)=－∑pilogpi 我们称H(P)为熵函数. * 信息论与编码-信源及信源熵 熵函数H(P)具有下列性质： （1）对称性.当变量的顺序任意互换时,熵函数 的值不变. （2）确定性.即H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0. 这个性质意味着从