信息論与编码习题解答（待校200812）.docVIP

（有问题请更正并通知xiezg@ntu.edu.cn） 第二章 信息的度量 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。 解：（1）从240颗珠子中取3颗，含1颗假珠的概率为 （2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0。 （3）按照shannon对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。 2．每帧电视图像可以认为是由3?105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解：设电视图像每个像素取128个不同的亮度电平，并设电平等概率出现，则每个像素亮度含有的信息量为 比特/像素 一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧会图像含有的信息量为 比特/每帧 广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇中每个汉字含有的信息量 比特/字 广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。所以，广播员描述此帧图像所广播的信息量为 比特/千字 若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述电视图像，每次口述一个汉字含有信息量是H(Y)，每帧电视图像含有的信息量是，则广播员口述此图像至少需要的汉字数等于 字 3．已知 X： 1, 0 P(X)： p, 1 – p (1) 求证：H(X) = H(p) (2) 求H(p)并作其曲线，解释其含义。 （1）证明 （2） 该H(p)曲线说明，当0与1等概出现时，即p=0.5时，熵最大。当p由0.5分别趋向于0和1时，熵逐渐减小至0。 4．证明H(X3|X1X2) ? H(X2|X1)，并说明等式成立的条件。 证明：设离散平稳信源输出的随机符号序列为…X1,X2,X3,…。又设,,,而且都取自于同一符号集，并满足有 在区域[0，1]内设f(x)=－xlogx, f(x)在[0，1]内是型凸函数，所以满足詹森不等式 其中 现今,设其概率空间为，并满足 所以根据詹森不等式得 所以 上式对所有的取值都成立，所以 因为，所以上式两边相乘，等号不变。有 上式对所有都成立，所以对所有求和下式也成立 因为 H(X3|X1X2) ? H(X3|X2) 所以是平稳信源 H(X3|X2) = H(X2|X1) 得 H(X3|X1X2) ? H(X2|X1) 只有当(对所有)时等式成立。 5．设有一概率空间，其概率分布为{p1, p2, …, pq}，且p1p2。若取， ，其中0 2? ? p1 – p2，而其它概率值不变。证明由此得到的新的概率空间的熵是增加的，并用熵的物理意义加以解释。 证明：令 得 因为f(x)=－xlogx是型函数，根据型凸函数的定义有 所以 即 同理得 以上两不等式两边相加，不等号不变。 所以得 6．某办公室和其上级机关的自动传真机均兼有电话功能。根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。求：（1）上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。 解：设发传真和打电话分别为事件X1与X2,对方按传真和按电话接续分别为事件Y1和Y2,则 P(X1)=30%,P(X2)=70% P(Y1|X1)=95%, P(Y2|X1)=5%, P(Y1|X2)=1%,