信息论期末复习提纲.docVIP

信息论期末考试复习提纲 绪论 了解通信系统的物理模型； 理解信息、消息、信号的定义及三者之间的关系。 信源与信息熵 应用概率论的知识求随机事件概率的基本方法，求随机变量概率分布的方法；掌握求离散信源概率分布（或概率空间的基本方法）； 了解信源的分类； 掌握无记忆信源和有记忆信源的定义及区别。掌握离散无记忆信源X的L次扩展信源的概念，理解离散平稳无记忆信源或独立同分布信源的定义。 什么是m阶马尔可夫信源，马尔可夫链，齐次马尔可夫信源？如何定义马尔可夫信源的状态？掌握状态转移概率的定义与性质。什么是转移概率的推移不变性？一步转移概率矩阵、k步转移概率矩阵的定义及其关系。 理解掌握切普曼-柯尔莫郭洛夫方程的物理含义及其应用。掌握马尔可夫链的状态转移图的描述方法，理解稳态分布的概念，掌握马尔可夫过程存在稳态分布的条件，掌握稳态分布的求法。 掌握自信息量的概念与性质，掌握条件自信息量的定义；掌握离散信源熵的定义、物理意义及其应用。掌握理解各种信源条件熵的定义与物理意义。掌握联合熵的定义与物理意义并加以应用。掌握互信息的概念、物理意义及其计算方法。掌握条件互信息的定义及其计算。理解记忆（2-2-11）至（2-2-15）并会加以应用。 理解并掌握数据处理中信息的变化的有关结论。理解掌握熵的性质（P28-29），记忆图2-10并会加以运用。 离散无记忆信源的序列熵的定义，记忆并理解式（2-3-1）。理解掌握离散有记忆信源的序列熵的有关结果。理解并记忆P32-33的有关结论。理解极限熵的物理概念，掌握有稳态分布的马尔可夫信源的极限熵的计算方法 了解连续信源熵的定义，了解其与离散信源类似的公式； 理解最大熵定理； 掌握平稳信源信息效率和冗余度的定义及其应用。 信道与信道容量 理解信道的各种分类； 掌握信道转移概率的概念，掌握无干扰信道、有干扰无记忆信道、有干扰有记忆信道的定义与物理意义；深刻理解二进制离散信道、离散无记忆信道、离散输入连续输出信道、波形信道的定义、转移概率、物理意义及应用；深刻理解掌握信道容量的定义； 在离散单个符号信道及其容量中，理解并掌握好无干扰离散信道，对称DMC信道和准对称DMC信道的相应内容；了解一般DMC信道信道容量的有关知识； 掌握好离散序列信道及其容量的有关内容； 掌握好连续信道及其容量的有关内容，对于信道容量公式（3-4-2）（3-4-4）（3-4-9）（3-4-10）更要深刻理解其物理意义并会加以运用；什么是香农公式？ 深刻理解掌握信源与信道匹配的意义。理解信道冗余度的定义及其物理意义。 信息率失真函数 4.2节内容仅需了解，不作重点要求。其余内容需结合授课内容、结合PPT、结合习题学习掌握好。 信源编码 5.4节不考。其余内容都需结合授课内容、结合PPT、结合习题学习掌握好。深刻理解掌握香农三大极限定理。 信道编码 6.5节、6.6节不考，6.3.6节（BCH码与RS码）不作重点要求。其余内容需结合课上授课内容、结合PPT和习题掌握好。