西安电子科技大学信息论与编码理论（专题讨论型）课件第三章 离散信源的数学模型及其信息测度(2).pptVIP

（1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增 离散有记忆信源特点 （3）平均符号熵HL(X)随L的增加非递增 （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） （1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增 离散有记忆信源特点 （3）平均符号熵HL(X)随L的增加非递增 （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） 对于平稳信源 故 H (XL|X1X2···XL-1) 随L非递增 （1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增 离散有记忆信源特点 （3）平均符号熵HL(X)随L的增加非递增 （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） H L(X)≥ H (XL|X1X2···XL-1) 根据性质1 随L非递增 故 （1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增 离散有记忆信源特点 （3）平均符号熵HL(X)随L的增加非递增 （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） HL(X)随L非递增 根据性质2 H (XL|X1X2 ··· XL-1) ≤HL(X) 上式 于是 从而 （1）条件熵H (XL|X1X2···XL-1)随L的增加非递增 离散有记忆信源特点 （3）平均符号熵HL(X)随L的增加非递增 H1(X)≥H2(X)≥…≥H∞(X) （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） 冗余度 表明信源的记忆长度越长，熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。 为了定量地描述信源的有效性，定义: 相对率 冗余度 作业 2.9 2.13 2.14 2.18（前三个不等式证明） 本节小结 熵的性质 多符号离散信源的熵 非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性 离散无记忆信源 离散有记忆信源 （本节内容见课本21-25页） 非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性 第三讲 离散信源的数学模型及其信息测度(Ⅱ) 信源的数学模型 信源熵（信息熵） 随机变量、随机序列 随机过程 定义：自信息的数学期望 含义：两种解释 与联合熵、条件熵之间的关系 Review 熵、条件熵、联合熵关系 Review 当Ui相互独立时 当X和Y相互独立时 信源的数学模型 信源熵（信息熵） 随机变量、随机序列 随机过程 定义：自信息的数学期望 含义：两种解释 与联合熵、条件熵之间的关系 Review 第三讲 离散信源的数学模型及其信息测度(Ⅱ) 熵的基本性质 概率矢量 熵函数 非负性 非负性 H(X)≥0 由于0≤pk≤1, 所以logpk≤0，-logpk≥0， 则总有H(X)≥0。 对称性 根据加法交换律可以证明，当变量交换顺序时熵函数的值不变, 即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。 对称性 确定性 当信源X的信源空间[X，P]中，任一概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。 确定性 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重， ，使信源熵保持不变。 扩展性 扩展性 可加性 证明: 可加性 极值性——最大离散熵定理 信源X中包含K个不同离散消息时，信源熵 ，当且仅当X中各个消息出现的概率全相等时，上式取等号。 表明等概信源的不确定性最大，具有最大熵，为 极值性 H(p) 1.0 0.5 0 0.5 1 p 二元离散信源 H(p) = -plogp- (1- p)log(1-p) 引理1：一个常用不等式：lnx x-1 令f(x)=lnx–(x-1) ,则 可见，f(x)是x的上凸函数，且当x=1时，f(x)有