信息论与编码第4讲第2章信源及信息度量(修改最新).ppt

从图中可以得出熵函数的一些性质： 1) 如果二进制信源的输出是确定的(p=1)，则该信源不提供任何信息； 2) 当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息 3) 二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。 (4) 扩展性 由对数函数的性质知道 证明 根据定义 而显然第二项而第一项 由于归纳起来 本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。 虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。 (5) 确定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0, …,0)=0 在概率矢量P(X)=[p(x1),p(x2),…,p(xn)]中 当p(xi)=1时，-p(xi)log2p(xi)=0；其余变量p(xj)=0(j≠i)， 只要信源符号表中有一个符号出现概率为1，信源熵就等于0。在概率空间中，如果有两个基本事实，其中一个是必然事件，另一个则是不可能事件，因此没有不确定性，熵必为0。当然可以类推到n个基本事件构成的概率空间。 (6) 可加性 H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y) 证明第一个式子： 可加性 是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是唯一的，不可能有其它形式存在。 (7) 极值性/香农辅助定理 对任意两个消息数相同的信源 有 上式含义：任一概率分布p(xi)，它对其它概率分布p(yi)的自信息 取数学期望时，必大于p(xi)本身的熵。 思考 如何证明极值性？？？ 由熵的极值性可以证明条件熵小于信源熵/无条件熵： H(X/Y)≤H(X) H(Y/X)≤H(Y) 证明：H(X/Y)≤H(X) 已知Y时X的不确定度应小于一无所知时X的不确定度。因为已知Y后，从Y得到了一些关于X的信息，从而使X的不确定度下降。 (8) 上凸性 H[αP +(1-α)Q ]＞αH(P )+(1-α)H(Q ) 上凸性证明： 设有一个多元矢量函数 f(x1,x2,…, xn) = f(X )，对任一小于1的正数α(0＜α＜1)及f 的定义域中任意两个矢量X ,Y，若f [αX +(1-α)Y ]＞αf(X )+(1-α)f(Y )，则称f 为严格上凸函数。 问题1？ 问题1？ 问题2？ 问题2？ 问题2？ * 例2.4 已知信源空间 　　 信道特性如图2.4所示，求在该信道上传输的疑义度H(X|Y)，噪声熵H(Y|X)和共熵H(XY)。 　　　图2.4 例2.4的信道特性 解（1）根据P(xiyj) = P(xi)P(yj |xi)，求各联合概率，得 P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49 P(x1y2) = P(x1) P(y2 |x1) = 0.5×0.02 = 0.01 P(x2y1) = P(x2) P(y1 |x2) = 0.5×0.20 = 0.10 P(x2y2) = P(x2) P(y2 |x2) = 0.5×0.80 = 0.40 （2）求Y集合中各符号的概率，得 P(y1) = P(x1)P(y1|x1) +P(x2)P(y1|x2)= 0.5×0.98＋0.5×0.2 = 0.59 P(y2) = 1– 0.59 = 0.41 （3）求各种熵，有 H(X|Y) = H(XY) – H(Y) = 1.43 – 0.98= 0.45 比特 H(Y|X) = H(XY) – H(X) = 1.43– 1 = 0.43 比特 信息论与编码理论基础 第4讲 信息熵及熵的基本性质 主讲 刘 巧 平 延安