信息论与编码期末复习汇编.ppt

纠错： R错一位的情况：S与HT的哪一行相同，就表明错在哪一位。 R错两位以上：查表法， 查R-C对照来译码。 3、纠错能力不等式： 2 r ≥Cn0 +Cn1 + Cn2 +……+ Cnt 完备码：上式取等号的情况。 汉明码：纠1位错的完备码， 2r =1+n 第三部分、信道编码 3.2 线性分组码 第四部分、限失真信源编码 香农三个定理： 三个定理各有自己管辖的范围，各指出信息率的一个理论极限： 第一定理负责无失真信源编码；用信息含量更浓的代码序列代替原先有冗余的信源序列。定理指出无失真信源编码的极限信息率R ≤log m，这里m是编码的符号个数。 第二定理负责信道编码； 信道编码通过添加冗余来检错纠错，结果差错减少而传信率降低。定理指出零差错传输的极限传信率R≤C，这里C是信道容量。 第三定理负责限失真信源编码；通过削减次要信息使传信率降低。 但是要满足指定的保真度，限失真信源编码的极限传信率R′≥R(D)，R (D)是信源的率失真函数。 第五部分、密码 5.1 密码有关的概念 第五部分、密码 5.1 密码有关概念: 1、密码的功能：保密与认证 2、密码系统的分类： （1）体制：对称密钥体系与公开密钥体系； （2）结构：序列密码与分组密码 （3）学科分支：密码编码学与密码分析学 （4）发展阶段：传统密码学与现代密码学 3、对称密钥体制的缺憾： 第五部分、密码 5.2 对称密码 5.2 DES: 1. 初始置换与逆置换 2. 换位加密（16轮迭代） 3. f 函数（扩展、加密、压缩、置换） 4. 子密钥生成 第五部分、密码 5.3 公开密钥密码 5.3 公开密钥密码: 1、特点： 2、如何实现加密与认证功能： 3、RSA体制： （1）系统构建：n=pq, ed=1 mod (p-1)(q-1) （2）加解密方法：c=me mod n，m=cd mod n （3）安全性：销毁p,q后，由(n,e)得不到d 4、公开密钥的设计理念 第六部分 章节要求 课程内容 信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 第一章 绪论 1、信息论的奠基人香农及其重要著作； 2、信息、消息、信号的区别和联系 3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用 第二章 信源与信源熵 熟练掌握：自信息量、离散信源熵、互信息、信息不增性的定义概念、并能进行相关计算 熵的性质(非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵) p28 掌握互信息量和熵之间的关系. 离散平稳无记忆信源X的N次扩展信源的熵等于信源X的熵的N倍 第三章 信道与信道容量 熟练掌握信道容量的定义以及相关计算（包括计算信道容量以及达到信道容量时对应的输入概率分布） 重点：无干扰离散信道、对称DMC（离散无记忆）信道 第四章 信息率失真函数 1、概念、定义：失真函数、平均失真、允许失真度、试验信道 2、信息率失真函（注意与信道容量的比较 ) 3、信息率失真函数的定义域(即Dmin和Dmax）及相应的信道转移概率的计算 第五章 信源编码 1、编码的定义和分类：信源编码、信道编码、安全编码 2、信源编码的目的 3、唯一可译码的特殊结论 4、熟练掌握三种能获得最佳变长编码的方法：香农编码、费诺编码、哈夫曼编码； 第六章 信道编码 1、信道编码的目的 2、纠错码的分类：不同的分类标准，得到不同的分类，3、从编码定理的公式出发分析使得差错概率尽可能小可以采取的措施 4、掌握两种译码方法：最优译码和最大似然译码方法 5、了解如下线性分组码的相关概念：线性分组码的生成矩阵、校验矩阵、伴随式和标准阵列译码 6、了解特殊的线性分组码的特性：汉明码 第七部分、题型说明 填空题 简答题 计算题 祝大家取得满意的考试成绩！ * 若传输无误，即R = C，E为全零向量，E·HT的乘积必然为零，则S= 0； 信息论与编码复习 2013版 《信息论与编码》的主要内容 一个理论和三个编码: 理论--------香农信息论 编码--------信源编码 信道编码