信息论与编码(隋晓红)自我检测题答案.docVIP

自我检测题参考答案 第2章 一、 填空题 不存在 比特（bit），奈特（nat），哈特莱（Hartley） 等概， 不等概 12bit 2bit/符号 5bit/s 二、 选择题 B C C C A 三、 简答题 ⑴ 一个信源可以用概率空间描述，它的不肯定程度可以用这个概率空间的可能状态及概率来描述。事件发生的概率越大，不肯定性就越小，而事件发生的概率越小，不肯定性就越大，对于发生概率等于1的必然事件，则不存在不肯定性。 ⑵ 信源概率空间的概率分布为等概率时，不肯定程度最大。 ⑶ 等概率时，不肯定程度与信源概率空间的可能状态数或相应的概率有关，状态数越多或相应的概率越小，不肯定程度越大。 哈特莱指出：应该用信源概率空间的概率的倒数的对数来度量不肯定程度，也就是不肯定度与概率的倒数的对数成比例，即。 信息量=不肯定程度的减小量。 自信息量是一个事件（消息）本身所包含的信息量，它是由事件的不肯定程度决定的。如果发生事件的概率为，它的自信息量可以定义为：。 互信息量实际上就是已知事件后，所消除的关于事件的不肯定性，它等于事件本身的不肯定性减去已知事件后对仍然存在的不肯定性，可以定义为：。 平均自信息量又称为信息熵或信源熵，简称为熵，用来表示，对于离散信源，它的信源熵的表达式为：。 （1）熵函数具有非负性 (2) 熵函数是的连续函数 (3) 状态数为,等概时，熵函数 为的单调增函数 信源在单位时间内输出的熵称为信源的熵速率，也叫做信息速率或传信率，用表示。信道容量就是指信道对信源的一切可能的概率分布而言能够传送的最大熵速率，用表示，其单位为比特/秒。 四、计算题 (1) , (2) , (3) , bit，bit，bit bit ，，， 第3章 一、 填空题 16 1, 1 7, 3, 1， （7,3,1） 2n-1 二、 选择题 A C D 三、简答题 所谓等长二元码，是指所有码字长度相同（即有相同的码元数），并且码元是二元的（为+1或-1）的码。 详见书（略）。 在码字中，相同码元的码元串称为游程。 详见书（略）。 序列码也就是最大长度线性移位寄存器序列，它是二元序列，由+1和-1两个码元构成。序列码可以由移位寄存器构成，一个级的线性移位寄存器可以产生周期为的序列。 哈达码矩阵是由+1和-1码元组成的正交方阵，其任意两行或两列均互相正交，即任意两行或两列对应的相同码元数和不同码元数相同。 四、计算题 由构造的序列发生器如下图所示。 根据序列发生器，初始状态为110时输出的一个时序表如下表所示。 序号 输出 0 1 1 0 1 1 1 1 1 1 0 0 2 0 1 1 1 0 3 1 0 1 0 0 4 0 1 0 0 1 5 0 0 1 1 0 6 1 0 0 1 1 7 1 1 0 1 1 由此可知，该序列产生器输出的一个周期序列为：{1 -1 -1 -1 1 -1 1 1}。 第4章 一、填空题 有效性， 无失真信源， 限失真信源 2，3，3，4 定长码，变长码 1 山农—范诺编码，霍夫曼编码 二、选择题 B A C 三、简答题 如码元集合A中只有两个元素，如1，0，则由两个元素构成的码字就称为二元代码。 详见书（略）。 所谓信源最佳化就是要改造信源，使其熵值最大化，而信源熵最大化实质上就是寻求一种最佳的概率分布 如果二元代码的两个码元长度相同，称为同价代码；否则，就是非同价代码。 如果码字序列W中各码字含有的码元数相等，则W称为等长代码。 如果对多个码字任意组合成的序列再进行分割，只能唯一地分割成一个个码字，则称W为单义代码。 如果码字集W中任一码字都不是由其它码字后面添加码元构成的，则W就称为非续长代码，否则就是续长代码。 详见书（略）。 第5章 一、填空题 0 1 0 1 0 参量表示计算， 迭代计算 二、选择题 C B A B C 三、简答题 为了保证失真函数为非负，因为负的失真函数违反数据处理定理，不可以使用。 平均失真度不大于某个额定值，即：，这个式子就称为保真度准则。 见书（略）。 研究信息率失真函数是为了在信源和允许失真度的条件下，即在信宿可以接受失真的前提下，使信源传输给信宿的信息率最小。也就是信源用尽可能少的码符号传送尽可能多的信源信息。 (1) 定义域内，具有最大值和最小值； (2) 是关于的下凸函数； (3) 在定义域内是严格递减函数。 信息率失真函数是在信源固定，满足保真度准则的条件下的信息传输率的最小值，它反映了满足一定失真度的条件下信源可以压缩的程度，也就是满足失真度要求的情况下，传递信源信息所需的最小平均信息量，即使传信率最小。是信源特性的参量，信源一旦确定就不会改变，与试验信道无关，不同的信源不同。 信道容量是指在信道固定的前提下，选择一