[数学]21 单符号离散信源.ppt

第二章 信源熵 信息量 自信息量 联合信息量 条件信息量 互信息量和条件互信息量 互信息量 互信息的性质 条件互信息量 信源熵 信源熵 条件熵 联合熵 注意：熵函数的自变量是大写的X，表示信源整体。 实质上为无记忆信源平均不确定度的度量。 X中各离散消息ai的自信息量I(ai)为非负值，p(ai)也为非负值，且0≤p(ai)≤1，故信源熵H(X)也为非负值。 从以上三种不同的角度说明： 从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 两个事件一一对应时，从一个事件可以充分获得关于另一个事件的信息，从平均的意义上来说，代表信源的信息量可以全部通过信道。 两个事件独立时，从一个事件不能获得关于另一个事件的信息，实际上为信道中断的情况。 确定性 H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 只要有一个p(ai)为1，则熵一定是0，随机变量失去随机性。 性质说明：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。 信息熵的基本性质 可加性 H(XY) = H(X)+ H(Y) X和Y独立 H(XY) = H(X)+ H(Y/X) H(XY) = H(Y)+ H(X/Y) 信