《《信息理论与编码》》.doc

《信息理论与编码》习题参考答案 1. 信息是什么?信息与消息有什么区别和联系? 答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。 2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？ 答：依据题意，这一随机事件的概率空间为 其中：表示摸出的球为红球事件，表示摸出的球是白球事件。 a)如果摸出的是红球，则获得的信息量是 （比特） b)如果摸出的是白球，则获得的信息量是 （比特） c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取次，红球出现的次数为次，白球出现的次数为次。随机摸取次后总共所获得信息量为 d)则平均随机摸取一次所获得的信息量为 2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。 根据题意，则知： 而“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发 生。所以其概率为 根据贝叶斯定律可得 则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量 （比特） 3. 设一个系统传送10个数字：0,1,2,…,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？ 答：发送集合接收集合 其中 因为 所以 最后得： （比特/符号） 4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为。 (1) 求信源熵。 (2) 求由个“0”和(100-)个“l”构成的某一特定序列的自信息量的表达式。 (3) 计算由100个符号构成的符号序列的熵。 答： （1）信源熵为 （2）该特定序列用表示则 （3）因为信源是无记忆信源，所以 5. 有一离散无记忆信源，其输出为，相应的概率为，，，设计两个独立实验去观察它，其结果分别为，。 已知条件概率如表2-4所示。 表2-4 习题5表 0 1 0 1 0 1 0 0 1 0 1 0 1 1 1 0 2 1/2 1/2 2 0 1 (1) 求和，并判断作哪一个实验好些。 (2) 求，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于的信息。 (3) 求和，并解释它们的含义。 答： （1），要求和需要先求，，已知。 ，要求和需要先求，，已知。 由及联合概率分布与边缘概率分布的关系可得及，如表2-1所示： 表2-1  0 1  0 1 0 1/4 0 0 1/4 0 1 0 1/4 1 1/4 0 2 1/4 1/4 2 0 1/2 1/2 1/2 1/2 1/2 所以 同样可求出及，如表2-2所示： 所以 因此第二个实验好些。 （2），因此要求出，和。由于、是相互独立的实验，所以。 （见表2-2和表2-3） 表2-2  00 01 10 11 0 1 0 0 0 1 0 0 1 0 2 0 1/2 0 1/2 表2-3  00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 1/4 1/4 1/4 1/4 可以看到：做和两个实验比做一个实验可多得到的信息为 可以看到：做和两个实验比做一个实验可多得到的信息为 （3），它表示做完实验以后，从实验可得到关于的信息量。 ，它表示做完实验以后，从实验可得到关于的信息量。 6. 设信源通过一干扰信道，接收符号为，信道传递概率如图2-7所示。求： (1) 信源中事件和分别携带的自信息量。 (2) 收到消息后，获得的关于的信息量。 (3) 信源和信源的信息熵。 (4) 损失熵和噪声熵。 (5) 接收到消息后获得的平均互信息。 图2-7 习题6图 答：（1） 因为 所以 (比特) (比特) （2） 收到消息的概率为： 所以收到消息后获得的关于的信息量即为： (比特/符号) (比特/符号) (比特/符号) (比特/符号) （3） (比特/符号)