《信息论与编码(第二版)》第2章-4.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 2.2.4 数据处理中信息的变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立 数据处理定理 数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 三维联合集XYZ上的平均互信息量 2.2.5 熵的性质 1.非负性 H(X)＝H(p1，p2，…，pn)≥0 式中等号只有在pi =1时成立。 2.对称性 H(p1，p2，…，pn) = H(p2，p1，…，pn) 例如下列信源的熵都是相等的： 熵的性质 3.确定性 H(X)＝H(p1，p2，…，pn)≥0 只要信源符号中有一个符号出现概率为1,信源熵就等于零。 4.极值性(香农辅助定理) 对任意两个消息数相同的信源 熵的性质 5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi＝1/M)熵最大。 2.3.1 离散无记忆信源的序列熵 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的信源 离散无记忆信源的序列熵 随机序列的概率为 离散无记忆信源的序列熵 信源的序列熵 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 离散有记忆信源的序列熵 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 若信源输出一个L长序列,则信源的序列熵为 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: 离散平稳信源 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 ⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷ 马尔可夫信源的信息熵 马尔可夫信源 例三状态马尔可夫信源 冗余度 冗余度(多余度、剩余度) 表示信源在实际发出消息时所包含的多余信息。 冗余度： 信源符号间的相关性。 相关程度越大,信源的实际熵越小 信源符号分布的不均匀性。 等概率分布时信源熵最大。 冗余度 对于有记忆信源,极限熵为H∞(X)。 这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。 冗余度 由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。 例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 不等概率 H1 = 4.03比特/符号 考虑相关性 H2 = 3.32比特/符号 极限熵 H∞ =1.4比特/符号 冗余度 习题 2-13 2-16 2-26 2-30 本章小结 信源的描述 一个离散信源发出的各个符号消息的集合为： 马尔可夫信源 稳态分布概率 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 自信息量 设离散信源X，其概率空间为 自信息量 自信息量 离散信源熵 离散信源熵H(X) 信源熵