第二章信源的信息量教材.ppt

对称性中也包含着可加性。非平均互信息具有可加性，平均互信息也具有可加性。 I(X;YZ)=∑p(xyz)log[p(x/yz)/p(x)]=∑p(xyz)log[p(xyz)/p(x)p(yz)]=∑p(xyz)log[p(yz/x)/p(yz)]=I(YZ;X) I(X;YZ)=∑p(xyz)log[p(x/yz)/p(x)]=∑p(xyz)log[p(x/y)/p(x)]+∑p(xyz)log[p(x/yz)/p(x/y)]=I(X;Y)+I(X;Z/Y) I(X;YZ)=∑p(xyz)log[p(x/yz)/p(x)]=∑p(xyz)log[p(x/z)/p(x)]+∑p(xyz)log[p(x/yz)/p(x/z)]=I(X;Z)+I(X;Y/Z) 物理含义与非平均互信息相同。 3、只是在熵和互信息关系的基础上加上了一个条件 * * 平均互信息也可以直接根据公式I(X;Y)=∑p(xy)log[p(x/y)/p(x)]来求。 * * 板书 * 物理意义：信息经过系统以后总会有进一步的损失，不确定性增加；获得的信息量减少。 * I(X;Y/Z)=0 由于I(X;YZ)=I(X;Y)+I(X;Z/Y)=I(X;Z)+I(X;Y/Z)，所以I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z) * 概率密度 * 平均功率受限：∫p(x)x2dx∞ * 刚才已经证明高斯分布的连续信源的熵。 * 前面讲过熵的上凸性。 * * * 以上是两个事件有关联时，观测到一个事件得到的关于另外一个事件的信息。 如果这两个事件的关联度为1，即一件事情出现时另外一件事情一定出现，那么这时可以看作这一个事件本身包含的信息，成为自信息量，和互信息量相对。 物理意义还可以表示为该事件的不确定性。 板书定义 * （1）确定某件事情所需要的信息量必定大于0 （2）根据定义可以得到该结论。物理意义：事件发生概率越小，观测到该事件后所得到的信息量越大 （3）数学上来说，P(xi/yj)1，所以互信息量必定小于自信息量。 物理上来说，确定某个事件所需要的信息必定大于已知某个事件得到的关于该事件的信息。 * I(xk|yj)=I(xk)-I(xk; yj)物理意义：在事件yj给定条件下事件xk的不确定性=确定xk所需要的信息量-已经确定的部分 * 物理意义： I(xkyj)= I(yj)+I(xk|yj)=I(xk)+I(yj|xk)：确定xkyj所需的信息量=确定yj所需的信息量+在yj已知的情况下确定xk所需的信息量 =确定xk所需的信息量+在xk已知的情况下确定yj所需的信息量 I(xk)+I(yj)-I(xk ; yj)=-logp(xk)p(yj)-logp(xk/yj)/p(xk)=-log p(xk yj) 确定xkyj所需的信息量=确定xk，yj各自所需的信息量-已知某个事件后得到关于另外一个事件的信息（信息重叠部分） * 未重叠部分分别是I(xk/yj)和I(yj/xk) * 2.1针对事件研究非平均互信息量、自信息量 2.2针对离散随机变量 lim qlog（1/q)= * * H(X/y)已知事件y的条件下随机变量X的不确定性。H(X/y)=-∑p(x/y)logp(x/y) E[H(X/y)]=-∑p(y) H(X/y)=…… X和Y统计独立时，X的确定性和Y没有任何关系H(X/y)=-∑p(x/y)logp(x/y)=-∑p(x)logp(x)=H(X) * H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y) 物理意义：确定两者所需的平均信息量=确定其中一个所需的平均信息量+在该确定变量情况下确定另外一个所需的平均信息量 * 如果无限长的信息，那么就是相等的。 * 后面讲到连续信源的熵和信息量不是同等的概念。 确定某个变量所需要的信息一定不会是负值。 * * HK(P1, P2, ……,PK)：将每个子集当做1个变量。 * 板书logx与loge （x-1）的关系 * 证明过程的技巧要注意一下。 * 两个圈的图。物理意义：中间有重叠的部分。 * 不确定性随着条件的增多而减少。 * H(Y|X)=-∑∑p(x,y)log(y/x) * H(Y|X)=-∑∑p(x,y)log(y/x) * 对于事件的自信息进行统计平均后得到熵；那么对非平均互信息进行平均后得到的是平均互信息。 * * * 再次对I(X;y)取平均 * 板书平均互信息的几个性质 ∑p(xi)∑p(yi)=∑∑p(xiyi)=1 * 所有的信息H(X)减去损失的信息H(X/Y)得到在输出端获得的信息。 * 预定的输出信息H(Y)-