第二章信源的信息量解析.ppt

对称性中也包含着可加性。非平均互信息具有可加性，平均互信息也具有可加性。 I(X;YZ)=∑p(xyz)log[p(x/yz)/p(x)]=∑p(xyz)log[p(xyz)/p(x)p(yz)]=∑p(xyz)log[p(yz/x)/p(yz)]=I(YZ;X) I(X;YZ)=∑p(xyz)log[p(x/yz)/p(x)]=∑p(xyz)log[p(x/y)/p(x)]+∑p(xyz)log[p(x/yz)/p(x/y)]=I(X;Y)+I(X;Z/Y) I(X;YZ)=∑p(xyz)log[p(x/yz)/p(x)]=∑p(xyz)log[p(x/z)/p(x)]+∑p(xyz)log[p(x/yz)/p(x/z)]=I(X;Z)+I(X;Y/Z) 物理含义与非平均互信息相同。 3、只是在熵和互信息关系的基础上加上了一个条件 * * 平均互信息也可以直接根据公式I(X;Y)=∑p(xy)log[p(x/y)/p(x)]来求。 * * 板书 * 物理意义：信息经过系统以后总会有进一步的损失，不确定性增加；获得的信息量减少。 * I(X;Y/Z)=0 由于I(X;YZ)=I(X;Y)+I(X;Z/Y)=I(X;Z)+I(X;Y/Z)，所以I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z) * 概率密度 * 平均功率受限：∫p(x)x2dx∞ * 刚才已经证明高斯