信息论基础——总复习.pptVIP

试题类型 判断题共 10小题，满分 20 分 ； 填空题共 6小题，满分 20分 ； 证明题共 1小题，满分 10分 ； 计算题共 4小题，满分 50 分： 各类熵以及互信息的计算； 马尔科夫信源熵及其相关； 唯一可译码的判定、D进Huffman编码及其相关； 线性分组码综合； 二进信道容量的计算及其相关； r元等概分布对称信源的率失真函数与失真度的计算． 信息论的基本内容 课程特点： 以概率论为基础，数学推导较多，学习时主要把注意力集中到基本概念的理解上，不过分追求数学细节的推导。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 狭义信息论：主要研究信息的度量、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论 香农信息论的核心： 揭示了在通信系统中采用适当的编码后能够实现有效且可靠的传输信息，并得出了信源编码定理和信道编码定理。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 有失真信源编定理（第三极限定理） 从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理