信息论期末复习.docVIP

1、一个事件发生的概率和它提供的信息量有什么关系？ 2、离散信源的概率如何分布，熵达到最大？ 3、联合自信息量和条件自信息量也满足非负性吗？ 4、信源熵是概率分布的什么函数？ 5、要做到几乎无失真信源编码，信息率必须满足什么条件？ 6、加权熵的定义是什么？写出公式。 7、如何计算自信息量？自信息量的单位是唯一的吗？主要有哪几个单位？ 8、联合自信息量在什么条件下成立？ 9、掌握联合熵，条件熵和信源熵之间的关系。 10、什么是对无损信道？它有什么特点？ 11、什么是对称信道？什么是准对称信道？ 12、什么是信道容量？ 13、要使离散对称信道的输出等概分布，输入分布应如何? 14、什么是信息率失真函数？自变量的范围如何确定？信息率的范围如何确定？ 15、什么是平均失真度？给出平均失真度的定义。 16、什么是二元无记忆信源的扩展信源。 17、什么是信源编码？什么是信道编码？ 18、设二元信源为，相应的失真矩阵为，则最小失真度和最大失真度分别为多少？ 19、信息价值率的定义是什么？ 20、R D ~D曲线与信源概率分布有关吗？信源如何分布时R D 最大？ 21、怎么判断一组码字是否为唯一可译码？ 22、在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应使合并后的新符号尽可能排在什么位置可使合并后的新符号重复编码次数减少，使短码得到充分利用。 课后习题（务必要看） 2.3 2.4 2.12 3.2 3.3 3.12 4.3 4.4 4.11 5.1 5.2 5.3