信息理论与编码课后答案解析(吕锋王虹着)人民邮电出版社.pdf

第一章 教材习题 1.1. 试述信息与知识、消息和信号之间的区别与联系，并举例说明。 1.2. 详述钟义信先生的信息定义体系。 1.3. 试查阅文献，说明信息具有哪些特征和性质？ 1.4. 说明通信系统模型由哪几部分组成，并详细讨论每一部分的功能。 1.5. 试述信息论的研究内容？ 第二章 教材习题 信源模型 信源模型 信信源源模模型型 2.1 试简述信源分类以及各种信源特点。 信息的描述 信息的描述 信信息息的的描描述述 2.2 在非理想观察模型中，存在哪些不确定性，它们与信息有何关系？ 不确定性与信息 不确定性与信息 不不确确定定性性与与信信息息 2.3 一副充分洗乱的牌（含52 张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13 张牌，13 张牌的点数互不相同时的不确定性是多少？ 2.4 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3 和5 同时出现”这事件的自信息量。 （2）“两个1 同时出现”这事件的自信息量。 （3）两个点数的各种组合（无序对）的统计平均自信息量。 （4）两个点数之和（即2，3，…，12 构成的子集）的熵。 （5）两个点数中至少有一个是1 的自信息量。 2.5 设在一只布袋中装有100 只对人手的感觉完全相同的木球，每只上涂有1 种颜色。100 只球的颜色有下列三种情况： （1） 红色球和白色球各50 只； （2） 红色球99 只，白色球1 只； （3） 红，黄，蓝，白色各25 只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 2.8 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男 同志是否为红绿色盲，他回答“是”或“否”。 （1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量? （3）如果你问一位女同志，则答案中含有的平均信息量是多少? 联合熵和条件熵 联合熵和条件熵 联合熵和条件熵 联合熵和条件熵 2.9 任意三个离散随机变量 、 和 ，求证： X Y Z H( XYZ) ?H( XY) ≤ H( XZ) ?H( X) 。 平均互信息及其性质 平均互信息及其性质 平均互信息及其性质 平均互信息及其性质 2.11 设随机变量X={x, x} ={0,1}和Y={y, y} ={0,1} 的联合概率空间为 1 2 1 2 ?XY? ?(x, y) (x, y ) (x , y) (x , y )? 1 1 1 2 2 1 2 2 ? ? = ? ? P ? 1 8 3 8 3 8 1 8 ? ? XY? 定义一个新随机变量Z= X×Y（普通乘积）。 （1）计算熵H( X) 、H(Y) 、H(Z) 、H( XZ) 、H(YZ) 以及H( XYZ) ； （2）计算条件熵H( X| Y) 、H(Y| X) 、H( X| Z) 、H(Z| X) 、H(Y| Z) 、H(Z| Y) 、 H( X| YZ) 、H(Y| XZ) 以及H(Z| XY) ； （3 ）计算互信息量 I( X;Y) 、 I( X; Z) 、 I(Y; Z) 、 I( X;Y| Z) 、 I(Y; Z| X) 以及 I( X; Z| Y) ； X Y Z 2.12 任意三个离散随机变量 、 和 ，求证： H( XYZ) = H( XZ) + H(Y| X) ?I(Z;Y| X) 离散无记忆信源的扩展 离散无记忆信源的扩