计算机信源编码.ppt

习题课 (b) “当收到1时得到多少关于字母a1的信息”，这是求事件a1与事件“收到1”的（非平均）互信息量。以码A为例。 P(a1)=0.4。 P(收到1)=P(a1)×P(收到1|a1)+P(a2)×P(收到1|a2) +P(a3)×P(收到1|a3)+P(a4)×P(收到1|a4) =0.4×1+0.3×(1/2)+0.2×(1/3)+0.1×(1/4)=0.642。 P(a1，且收到1)=P(a1)×P(收到1|a1)=0.4×1=0.4。 所以I(a1；收到1)=log{0.4/(0.4×0.642)}=0.64155。 (c) “当收到1时得到多少关于信源的平均信息”，这是求信源随机变量U与事件“收到1”的（半平均）互信息量。以码A为例。 I(收到1；U)= 3.6 令离散无记忆信源如上。 (a) 求对U（即U1）的最佳二元码、平均码长和编码效率。 (b) 求对U2 （即U1U2）的最佳二元码、平均码长和编码效率。 (c) 求对U3 （即U1U2U3 ）的最佳二元码、平均码长和编码效率。 （U1U2U3 ）~ a1a1a1 a1a1a2 a1a2a1 a2a1a1 a1a1a3 a1a3a1 a3a1a1 a1a2a2 a2a1a2 0.125 0.075 0.075 0.075 0.050 0.050 0.050 0.045 0.045 a2a2a1 a1a2a3 a1a3a2 a2a1a3 a3a1a2 a2a3a1 a3a2a1 a2a2a2 a1a3a3 0.045 0.030 0.030 0.030 0.030 0.030 0.030 0.027 0.020 a3a1a3 a3a3a1 a2a2a3 a2a3a2 a3a2a2 a2a3a3 a3a2a3 a3a3a2 a3a3a3 0.020 0.020 0.018 0.018 0.018 0.012 0.012 0.012 0.008 （U1U2）的第一种最佳二元码 （U1U2）的第二种最佳二元码 （U1U2）的最佳二元码平均码长和编码效率： §3.4 最佳不等长编码 补充引理1 信源随机变量的最佳2元异字头码，一定是该信源随机变量的最佳2元不等长码。（换句话说，寻找最佳2元不等长码，只要寻找最佳2元异字头码即可） 证明 设最佳2元异字头码的码字长度依次为n1、n2、…、nK。则任意m1、m2、…、mK，满足 码字长度依次为m1、m2、…、mK的2元不等长码的平均码长 =码字长度依次为m1、m2、…、mK的2元异字头码的平均码长 ≥码字长度依次为n1、n2、…、nK的2元异字头码的平均码长。 得证。 §3.4 最佳不等长编码 补充引理2 信源随机变量U的最佳2元异字头码S ，一定满足以下论断：“事件的概率越大，对应的码字越短”。 证明 如果2元异字头码S 竟然不完全满足以上论断，则存在两个事件a和b，其概率具有不等式qaqb，其码字长度也具有不等式nanb。现在将事件a和b交换码字，其它事件的码字保持不变。此时2元异字头码S 变成新的2元异字头码T。 （1）码S 中事件a和b的码字对平均码长的贡献为qana+qbnb； （2）码T中事件a和b的码字对平均码长的贡献为qanb+qbna。 (qana+qbnb)-(qanb+qbna)=(qa-qb)(na-nb)0。 这就是说，码S 的平均码长码T 的平均码长。因而码S 不是最佳2元异字头码。 用反证法已经证明了补充引理2。 §3.4 最佳不等长编码 补充引理3 设信源随机变量U的最佳2元异字头码S ，则最长的码字至少有两个。 证明 如果2元异字头码S 的最长的码字竟然只有一个。设这个码字为c，是事件a的码字。现在将c的最后一位去掉，成为c’，将c’仍然作为事件a的码字。其它事件的码字保持不变。此时2元异字头码S 变成新的2元码T。注意到以下两点： （1）码T仍然是2元异字头码； （2）码S 的平均码长码T 的平均码长。 因而码S 不是最佳2元异字头码。用反证法已经证明了补充引理3。 §3.4 最佳不等长编码 补充引理4 最佳2元异字头码S可以满足以下两条： （1）概率最小的两个事件码字最长，且长度相等； （2）它们的码字仅仅最后一位不同。 证明 取概率最小的事件a。在剩下的事件中取概率最小的事件b。根据补充引理2和补充引理3，事件a和事件b的码字最长，且长度相等。这就是说，最佳2元异字头码S显然满足第（1）条。 关于第（2）条，分以下三种情形来讨论： 情形一 事件a和事件b的码字仅仅最后一位不同。 情形二 事件a和事件b的码字不是仅仅最后一位不同，但有第三个事件c，其码字与事件a的码字仅仅最后一位不同。 情形三 事件a和事件b的码字不是仅仅最后一位不同，也没有第三