2014信息-论复习题.docVIP

信息论复习题 一、名词解释 1、信息 2、离散信源 3、自信息量 4、离散平稳无记忆信源 5、马尔可夫信源 6、连续信源 7、信源冗余度 8、连续信道 9、信道容量 10、强对称信道 11、对称信道 12、信息熵 13、平均互信息 14、平均失真度 15、码的最小距离 16、率失真函数 二、判断 必然事件和不可能事件的自信息量都是0 。错 自信息量是的单调递减函数。对 单符号离散信源的自信息和信源熵都具有非负性。对 自信息量、条件自信息量和联合自信息量之间有如下关系： 对 自信息量、条件自信息量和互信息量之间有如下关系： 对 当随机变量X和Y相互独立时，条件熵等于信源熵。对 当随机变量X和Y相互独立时，I（X；Y）=H（X）。错 信源熵具有严格的下凸性。错 平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。 对 10、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 错 11、连续信源和离散信源的熵都具有非负性。 错 12、连续信源和离散信源都具有可加性。 对 13、连续信源和离散信源的平均互信息都具有非负性。 对 14、定长编码的效率一般小于不定长编码的效率。 对 15、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 错 16、率失真函数的最小值是0 。对 17、率失真函数没有最大值。 错 18、信源编码通常是通过压缩信源的冗余度来实现的。 对 19、一般情况下，霍夫曼编码的效率大于香农编码和费诺编码。 对 20、在编m（m2）进制的霍夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对 21、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 ? 22、非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 ? 三、填空 1948年，美国数学家 香农 创立了信息论。 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 11、自信息量的单位一般有 比特、奈特和哈特 。 12、必然事件的自信息是 0 。 13、不可能事件的自信息量是 ∞ 。 14、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 15、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 16、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 17、离散平稳有记忆信源的极限熵，。 18、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 19、一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a） 。 20、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。 21、对于限峰值功率的N维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 22、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 23、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。 23、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 24、若一维随机变量X的取值区间是[0，∞]，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。 25、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218=（1+2 log23）。 26、m元长度为ki，i=1，2，···n的惟一可译码存在的充要条件是：。 27、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。 28、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 29、具有一一对应关系的无噪信道的信道容量C= log2s 。 30、对称信道的信道容量C= log2s-Hri 。 31、对于离散无记忆信道和信源的N次扩展，其信道容量CN= NC 。 32、对于N个对立并联信道，其信道容量 CN = 。 33、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。 34、高斯加性信道的信道容量C=。