信息论与编码2信源及信源熵1.ppt

* 信息论与编码-信源及信源熵 它表示信源Y每发一个符号的前提下,信源X再发一个符号所能提供的平均信息量.我们称H(X|Y)为X的条件熵.相应地,有 它表示信源X每发一个符号的前提下,信源Y再发一个符号所能提供的平均信息量.我们称H(Y|X) 为Y的条件熵. * 信息论与编码-信源及信源熵 联合熵： 定义为联合符号集合XY的每个元素对(xi,yj)的自信息量的概率加权统计平均值,因此X和Y的联合熵为 它表示X和Y同时发生的不确定度. * 信息论与编码-信源及信源熵 熵的基本性质： 我们已经看到,熵是信源概率空间的一种特殊矩函数.这个矩函数的大小,显然与信源的符号数及其概率分布有关.可见,熵是p(x1),p(x2),…,p(xq)的q元函数,(实际上,因为∑p(xi)=1,所以独立变量只有q-1个,H是(q-1)元函数),一般可写成 H(P)=H(p1,p2,…,pq)=－∑pilogpi 我们称H(P)为熵函数. * 信息论与编码-信源及信源熵 熵函数H(P)具有下列性质： （1）对称性.当变量的顺序任意互换时,熵函数 的值不变. （2）确定性.即H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0. 这个性质意味着从总体来看,信源虽然有不同的输出符号,但它只有一个符号几乎必然出现,而其它符号都是几乎不可能出现,那么,这个信源是一个确知信源,其熵等于零. * 信息论与编码-信源及信源熵 （3）非负性.即H(X) ≥0. 这种非负性对于离散信源的熵是合适的,但对连续信源来说这一性质并不存在.以后可以看到,在相对熵的概念下,H(X)可能出现负值. （4）可加性.即统计独立信源X和Y的联合信源的熵H(XY)等于熵H(X)和 H(Y)之和. * 信息论与编码-信源及信源熵 （5）极值性.即 即等概率分布时,熵达到极值.对于具有q个符号的离散信源,只有在q个信源符号等可能出现的情况下,信源熵才能达到最大值.这也表明等概率分布信源的平均不确定性为最大.这是一个很重要的结论,称为最大离散熵定理. * 信息论与编码-信源及信源熵 （6）强可加性.即 H(X,Y)= H(X)+H(Y|X) H(X,Y)= H(Y)+ H(X|Y) 它表明,在X和Y相关联的情况下,信源(X,Y)每发一个符号所提供的平均信息量,等于信源X每发一个符号所提供的平均信息量,再加上在X已知的条件下,信源Y再发一个符号所提供的平均信息量. * 信息论与编码-信源及信源熵 （7）香农辅助定理 对于任意n及概率矢量P=(p1,p2,…,pn)和Q=(q1,q2,…,qn),有如下不等式成立 只有当P=Q时,上式取等号. * 信息论与编码-信源及信源熵 上式体现了熵函数的极值性.它表明,信源[X,P]的熵函数H(p1,p2,…,pn),一定不大于另一符号种数相同的信源[Y,Q]中各种不同符号的自信息量 在[X,P]中的统计平均值 如果我们把qi理解为p1,p2,…,pn的算术平均值q,则当p1＝p2＝…＝pn＝q时,上式中等式成立. * 信息论与编码-信源及信源熵 这说明,任何一种能使概率p1,,p2,…,pn趋于均等的变动,都会使熵增加. * 信息论与编码-信源及信源熵 2.2.3互信息 信息流通的根本问题,是定量计算信宿收到信道输出的某一符号后,从中获取关于信源某一符号的信息量(如图2.1). 信 源 X 有扰离散 信 道 信 宿 Y 干扰源 ?图2.1 简单的通信系统模型 ? * 信息论与编码-信源及信源熵 根据熵的概念,可以计算得信道输入符号集的熵 H(X)=－∑p(xi)logp(xi) H(X)是在接收到符号Y以前,关于输入符号X的先验不确定性的度量,所以称为先验熵.如果信道中无干扰(噪声),信道输出符号与输入符号一一对应,那么,接收到传送过来的符号后就消除了对发送符号的先验不确定性. * 信息论与编码-信源及信源熵 但一般信道中有干扰(噪声)存在,接收到符号Y后对发送的是什么符号仍有不确定性.那么,怎样来度量接受到Y后关于X的不确定性呢?当没有接收到输出符号Y时,已知输入符号X的概