信息论自测试卷1.docVIP

信息论自测试卷1 选择题 下列那位创立了信息论。（ c ） 牛顿 高斯 香农 哈夫曼 下列不属于消息的是。（ b ） 文字 信号 图像 语言 同时扔两个正常的骰子，即各面呈现的概率都是 1/6，若点数之和为2，则得到的自信息量为（ ） -log36 bit log36 bit -log18 bit log18 bit 下列说法不正确的是（ ） 异字头码肯定是唯一可译的 逗点码是唯一可译的 唯一可译码不必满足Kraft 不等式 无逗点码可以唯一可译 下述编码中那个可能是任何概率分布对应的Huffman编码（ ） {0，10，11} {00，01，10，110} {01，10} {001，011，100，101} 下列物理量不满足非负性的是（ ） H(X) I(X;Y) H(Y|X) I(xj;yj) 信源的输出与信道的输入匹配的目的不包括（ ） 符号匹配 信息匹配 降低信道剩余度 功率匹配 在串联系统中，有效信息量的值（ ） 趋于变大 趋于变小 不变 不确定 判断题 1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。 （ ） 2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。（ ） 3、两个事件之间的互信息量可正，可负，也可能为0。（ ） 4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。（ ） 5、Huffman 编码是唯一的。（ ） 6、概率大的事件自信息量大。（ ） 7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。（ ） 8、平稳的离散无记忆信道不可用一维概率描述。（ ） 填空题 必然事件的自信息是 。 根据码字所含的码元的个数，编码可分为 编码和 编码。 不等长D元码，码字最长限定为N，则至多有 个码字。 实现准对称DMC信道容量的输入分布为 。 各随机变量彼此统计独立，相应的信源就称做 信源。 U={a1，a2，a3}， =0.25，P2=0.5，P3=0.25，则H(U) = 。 设信源X包含4个不同的离散消息，当且仅当X中各个消息出现的概率为 时，信源熵达到最大值，为 。 平均互信息量I(X;Y)与信源熵和条件熵之间的关系 。 计算题 设离散无记忆信源 码符号集X={0，1，2，3}，现对该信源S进行四元哈夫曼编码，试求信源熵H(S)、平均码长和编码速率η。 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 证明题 试证明：任何两个事件之间的互信息量不可能大于其中任何一个事件的自信息量。 试证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY)