離散信源.pptVIP

§2 离散信源 信源的数学模型及分类 信息熵 联合熵与条件熵 §2.1 离散信源的信息熵 §2.1 离散信源的信息熵 §2.1 离散信源的信息熵 §2.1 离散信源的信息熵 设离散信源X，其概率空间为： 例4．一组信源： §2 离散信源 信源的数学模型及分类 信息熵 联合熵与条件熵 定义2-2：联合集XY上，联合自信息的平均值定义为联合熵，即： 例6： N次扩展信源的数学模型： 定义2-3：联合集XY上，条件自信息的平均值定义为条件熵，即： 例7： 设箱中有100个球，其中40个黑球，60个白球。做从箱中取球且不放回试验，连续进行两次，试求猜中第二个球颜色的难度。 离散二维平稳信源 习题： 设（X，Y）服从如下联合分布，试求 H(X)，H(Y)，H(X|Y)，H(Y|X)，H(XY)。 思考题1： 设X是取值有限的随机变量，如果： §2.1 离散信源的信息熵 §2.2 熵的基本性质 §2.3 信源的相关性与剩余度 §2. 2 熵的基本性质 §2. 2 熵的基本性质 例：分别计算下列信源熵： §2. 2 熵的基本性质 2. 对于离散无记忆信源X的N次扩展信源XN，其信息熵为X信源熵的N倍，即： 1. 试证明（强可加性）： 证明（极值性）： 例： 设二元信源X为 §2 离散信源 §2.1 离散信源的信息熵 §2.2 熵的基本性质 §2.3 信源的相关性与剩余度 5. 熵的链式法则 §2. 2 熵的基本性质 若X和Y统计独立，则 熵的 强可加性 熵的 可加性 进一步推广之，N维联合信源熵的链式法则为 5. 熵的链式法则 §2. 2 熵的基本性质 习题： §2. 2 熵的基本性质 当且仅当P1=P2=···=Pq=1/q时，信源具有最大熵。 §2. 2 熵的基本性质 6. 极值性 §2. 2 熵的基本性质 引理：若x0，则： lnx≤x-1（即log2x≤(x-1)loge）, （当且仅当x=1时成立） 证明： 当且仅当 1/piq=1即pi＝1/q时等式成立。 当且仅当P1=P2=···=Pq=1/q时，信源具有最大熵。 信源中各事件出现概率趋于均匀时，信源的平均不确定性最大。 （数据压缩的理论依据之一） §2. 2 熵的基本性质 6. 极值性 则有 熵是随机变量X概率分布的上凸函数； p=0或1时，H(p)=0； p=0.5时，H(p)达到最大 1( bit/sig)。 §2. 2 熵的基本性质 练习： §2. 2 熵的基本性质 比较概率分布 的熵与概率分布 的熵的大小？ 知道统计相关的变量，则可以减少不确定性； 统计平均意义上条件减少不确定性，但是针对具体的Y取值则不一定。 §2. 2 熵的基本性质 7. 熵的独立界 定理2.1：条件熵不大于无条件熵，即 当且仅当X与Y相互独立时等号成立。 对于平稳序列，条件熵 随N的增加是非递增的，即： 定理2.2：设 服从P(x1,x2,…,xN)，则 当且仅当 相互独立时取等号。 （证明提示：联系链式法则） §2. 2 熵的基本性质 7. 熵的独立界 3/4 0 1 0 1 2 1/4 1/2 1/2 X Y PX(0)=2/3, PX(1) = 1/3 H(X)=? H(X|Y=0) = ? H(X|Y=2) = ? H(X|Y) = ? H(X) = H(2/3,1/3)=0.9183 (bit/sig) H(X|Y=0) = 0 H(X|Y=1) = 0 H(X|Y) = 1/3 (bit/sig) H(X|Y=2) = H(1/2,1/2)=1 (bit/sig) 练习： §2. 2 熵的基本性质 H(Y)=? H(Y)=H(1/2,1/3,1/6)=1.46 (bit/sig) 对称性 确定性 非负性 极值性 上凸性 链式法则 扩展性 条件熵不增 独立界 §2. 2 熵的基本性质 扩展信源： 平稳信源： §2. 3 信源的相关性和剩余度 §2. 3 信源的相关性和剩余度 定义： 设某q元信源的极限熵 （实际熵），则定义： 为信源剩余度。 H∞≤ …≤ H (XN|X1,…XN-1)≤ …≤H(X2|X1)≤H(X1) ≤H0=log q 信源实际熵H∞与理想熵H0相差越大，信源的剩余度就越大，信源的效率也越低。 例1 英文源： H0=log27=4.76 (bit/sig) IN NO TH HE ER AN RE ED ON ES ST EN AT TO NT HA ND OU EA NG AS… THE ING AND HER