2010信息论习题课.pptVIP

习题课 任课老师：唐贵进 江苏省图像处理与图像通信重点实验室 香农在1948年发表了一篇论文， 为信息论创立奠定了基础，论文名字叫什么？（ 通信的数学理论） 在信息论中，重点关注通信系统的三项指标，分别是什么？各通过什么编码来实现？三者编码顺序如何？ （信源编码的目的是提高通信系统的什么性？信道编码的目的是提高通信系统的什么性？） 叙述条件熵与绝对熵的关系、多条件熵与单条件熵的关系、联合熵与熵的和的关系 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大变大还是变小？ 问：冗余度来自哪两个方面？ 什么是信息不增性：数据处理过程中只会。。。。。 率失真函数研究的是什么？信源还是信道？ 在无失真的信源中，信源输出由 来度量； 在有失真的信源中，信源输出由 来度量。 能获得最佳码的编码方法主要有哪些？ 请写出香农公式，并说明香农限为多少？ 问：哈夫曼编码方法得到的码唯一码吗？为什么？ 克劳夫特不等式的作用？答：判断唯一可译码存在的判据 最大熵定理： 限峰功率最大熵定理：对于定义域一定的随机变量X，当它是均匀分布时具有最大熵 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵 Shannon三大极限定理是： 无失真信源编码定理 、 信道编码定理 、 限失真信源编