互熵的性质.pptVIP

* 第二章： 信息量 * 第二章： 信息量 第二章 信息量(续) 2.3．熵函数的性质 1．极大离散熵定理 设信源X中包含M个不同的符号，信源熵H(X)有 当且仅当X中各个符号以等概率出现时，上式取等号。 ① 在所有符号总数相同，而符号的概率分布不同的离散信源中，以先验等概率分布的离散信源的信息熵最大，其最大值等于信源符号总数M的对数。 ② 离散信源信息熵的最大值，只取决于信源符号总数M，M越大，则信源熵的最大值H(X)max亦越大。 说明： 2．熵函数的性质 （1）对称性 集合X = {x1，x2，…，xN }中的各元素x1，x2，…，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。 【例】 H（X1）=H（X2） （2）非负性 H(X) ? 0 （3）确定性 在集合X = (x1，x2，…，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为： 则H（X）＝0。 （4）扩展性 离散事件集增加一个不可能事件xN+1后，得新的集合 若δ→0，则两个集合的熵相等。 （5）可加性 集合X = {x1，x2，…，xi，xi+1，…，xN}的概率分布为： 【例】 ① 求X的信源熵 ② 改为组合试验：组合试验中，事件x1仍独立发生，而事件x2和x3作为和事件发生，其概率为： 然后再分别以概率2/3和1/3发生事件x2和x3。作组合试验后的信源熵为： （6）条件熵小于等于无条件熵 H (X/Y) ? H (X)。X，Y 统计独立时等号成立。 （7） 联合熵大于等于独立事件的熵，小于等于两独立事件熵之和。 H (XY) ? H (X) + H (Y) 例：某二进制通信系统，信源符号集{0，1}，由于存在失真，传输时会产生误码，用符号表示下列条件： u0：发“0”；u1：发“1”；v0：收“0”；v1：收“1”。 已知下列概率： 则此信道转移概率示意图为： 求：（1）已知发出符号“0”，收到一个符号所获得的平均信息量 （2）已知发出的符号，收到一个符号所获得的平均信息量 转移概率矩阵p(v/u) 联合概率矩阵 p(uv) （3）已知发出和收到符号，所获得的平均信息量 或可由定义式求： 联合概率矩阵 p(uv) （4）收到一个符号后又被告知发出的符号，所获得的平均信息量 联合概率矩阵 p(uv) 先求接收符号的概率： 后验概率矩阵 p(u/v)= p(uv)/ p(v) 或者： §2.4 互熵和互信息 一．各种离散信源的熵 信源输出序列为XN= x1… xi … xN ，xi∈{a0,a1,…,ak-1}，记 XN= x1 x 2 … xN的概率分布为p (XN)，则信源熵为 （1）单符号无记忆信源 由于无记忆，则信源的熵为： （2）N维扩展无记忆信源 H (XN) = H ( X1) +H (X2︱X1) +H (X3︱X1X2)+ … +H (XN︱X1X2…XN -1) 记为： （熵的链规则） p (XN) = p (x1) p (x2︱x1) p(x3︱x1x2) … p(xN︱x1x2…xN -1)，可以计算出其信源熵 一般情况下，同一信源输出的各事件x1… xi … xN，其概率分布空间相同(平稳信源)，即各xi取值{a0,a1,…,ak-1}的概率相同，此时有 【例】二进制对称信源只能输出符号0或1，信源概率空间描述为： 进行二维无记忆扩展，则信源序列共M＝22＝4种：00，01，10，11。 则将这4种序列看成4个符号，得到一个新的信源，即 二．互熵 1．平均互信息量 定义xi∈X和yj∈Y之间的互信息量为I(xi ;yj )，在集合X上对I(xi ;yj )进行概率加权统计平均，可得I ( X ; yj )为： 再对集合Y进行统计平均，就可以得到互熵： 当X，Y统计独立时，I(xi；yj )= 0，从而I(X ；Y)= 0。 【例】 二元等概率信源X通过信道转移概率矩阵为P的信道传输，信宿接收符号Y = {y0，y1}，计算信源与信宿间的平均互信息量I（X；Y） 已知信源： 信道： 【解】（1）根据 得： （2）由 求后验概率。 （3）计算各消息之间的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） （4）计算平均互信息量 三．条件互熵 平均条件互信息量I(X;Y︱Z)是在联合概率空间{XYZ，p(xyz)}上定义的