信息论与编码-第4讲-第2章信源及信息度量[修改最新].pptVIP

信息论与编码理论基础;本讲主要内容：;本讲重点：;1 信源熵; 1） 信源熵—平均信息量;　为了求得整个信源所提供的平均信息量，首先，我们应当了解数学中有关三种不同类型的平均方法以及它们各自的计算公式。这三种平均方法分别是算术平均、统计平均和几何平均。;  式中，Pi=Ni/N(i=1，2，…，r)为对应的随机变量xi出现的概率(或称为频数)。即;  根据有关统计平均的定义，可求得信源X自信息量的统计平均值，我们把这个统计平均值记为H(X),即;信息熵的数学表达式; 2） 信源熵的三种物理含义;举 例1;举 例2;本例结论 1、信源Y的二个输出消息是等可能性的，所以在信源没有输出消息以前，事先猜测哪一个消息出现的不确定性要大； 2、信源Y比信源X的平均不确定性大； 3、信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，因为x1出现的概率大。所以信源X的不确定性要小； 4、信息熵反映的就是信源输出前平均不确定程度的大小。 ;2 条件熵; 证明： 在给定 y j 条件下，x i 的条件自信息量为： I(x i | yj)=－log p(xi | yj) 集合X的条件熵为： 在给定Y（即各个yj）条件下，集合X的条件熵定义为;信道疑义度—H(X/Y)：表示信宿在收到Y后，信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，是传输失真造成的，故也可称为损失熵。 噪声熵—H(Y/X)：表示在已知X的条件下，对于符号集Y尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。;例：已知信源X取自符号集{a1=0，a2=1}，信源Y取自符号集{b1=0，b2=1}，联合集合{X，Y}的联合概率密度为 ;解 由全概率公式;p(a1|b2)=0.75 p(a2|b1)=0.75 p(a2|b2)=0.25 根据条件熵的计算表达式可得 ;3、 联合熵;4 熵的基本性质和定理;(1) 非负性;(2) 对称性;③ 举 例;(3) 最大离散熵定理;举 例;;从图中可以得出熵函数的一些性质： 1) 如果二进制信源的输出是确定的(p=1)，则该信源不提供任何信息； 2) 当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息 3) 二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。;(4) 扩展性;而显然第二项而第一项;由于归纳起来; 本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。 虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。 ;(5) 确定性;(6) 可加性;(7) 极值性/香农辅助定理;由熵的极值性可以证明条件熵小于信源熵/无条件熵： H(X/Y)≤H(X) H(Y/X)≤H(Y) 证明：H(X/Y)≤H(X) 已知Y时X的不确定度应小于一无所知时X的不确定度。因为已知Y后，从Y得到了一些关于X的信息，从而使X的不确定度下降。;(8) 上凸性;问题1？;问题1？;问题2？;问题2？;问题2？;*;解（1）根据P(xiyj) = P(xi)P(yj |xi)，求各联合概率，得 P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49 P(x1y2) = P(x1) P(y2 |x1) = 0.5×0.02 = 0.01 P(x2y1) = P(x2) P(y1 |x2) = 0.5×0.20 = 0.10 P(x2y2) = P(x2) P(y2 |x2) = 0.5×0.80 = 0.40 （2）求Y集合中各符号的概率，得 P(y1) = P(x1)P(y1|x1) +P(x2)P(y1|x2)= 0.5×0.98＋0.5×0.2 = 0.59 P(y2) = 1– 0.59 = 0.41 ;（3）求各种熵，有 ;H(X|Y) = H(XY) – H(Y) = 1.43 – 0.98= 0.45 比特 H(Y|X) = H(XY) – H(X) = 1.43–