信息论与编码.ppt

6.6.3循环码的监督多项式和监督矩阵6.6.4循环码的编码电路6.6.5循环码的伴随式6.5.2线性分组码的译码6.5.3完备码和汉明码6.5.4对偶码6.5.5扩展码、缩短码和删信码6.6循环码6.6.1循环码的码多项式6.6.2循环码的生成多项式和生成矩阵6.3联合信源信道编码定理6.4信道编码的基本概念6.4.1信道编码的分类6.4.2线性分组码的检错和纠错能力6.4.3最小汉明距离译码6.4.4差错控制的三种方式6.4.5差错控制的途径6.5线性分组码6.5.1线性分组码的编码三、一般DMC信道5.5多符号离散信道及其信道容量5.6信源与信道的匹配第6章有噪信道编码本章内容6.1错误概率6.2有噪信道编码定理6.3联合信源信道编码定理6.4信道编码的基本概念6.5线性分组码6.6循环码6.7BCH码和RS码6.8卷积码6.9交织码6.10级联码6.11Turbo码6.12LDPC码6.1错误概率6.1.1错误概率和译码规则如何计算错误概率?6.1.2错误概率与编码方法6.2有噪信道编码定理第5章离散信道与信道容量

本章内容5.1离散信道的分类5.2离散信道的数学模型5.3信道容量5.4单符号离散信道及其信道容量5.5多符号离散信道及其信道容量5.6信源与信道的匹配5.1离散信道的分类5.2离散信道的数学模型5.3信道容量1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量。R=I（X；Y）=H（X）-H（X/Y）单位：bit/符号一、信道的信息传输率2、信息传输速率Ｒt：信道中单位时间平均传送的信息量,即收信者在单位时间内接收到的信息量。单位：bit/秒表示单位时间信源输出的信息量。表示单位时间信道损失的信息量。其中，RB为每秒钟传送的符号数，即码元传输速率。t为传送一个符号所需的平均时间。二、信道容量C对于固定的信道，平均互信息是信源概率分布的上凸函数。也就是说，存在一个使某一特定信道的平均互信息达到极大值的信源分布，该极大值可以用来表述信道传送信息的最大能力，即信道容量。1）理论基础：5.4单符号离散信道及其信道容量2)信道容量当输入符号分布为等概分布时，取得信道容量例题：已知信道转移矩阵为计算信道容量。解：例题：已知信道转移矩阵为该信道输入符号和输出符号的个数相同，都为r，且正确的传输概率为1-p，错误概率p被均匀分给r-1个输出符号，此类信道称为强对称信道或均匀信道，计算信道容量。解：3、准对称DMC信道1)定义：准对称DMC信道信道容量的求解方法：4.3常见的无失真信源编码方法说明：霍夫曼编码方法得到的码并非唯一。每次对信源缩减时，赋予信源最后的两个概率最小的符号，用0和1是可以任意的，所以可以得到不同的霍夫曼码，但是不会影响码字的长度。对信源进行缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的霍夫曼码。这时将影响各码字的长度，但是平均码长相同。一般将合并后的概率放在上面，这样可以获得较小的码方差。需要大量的存储设备来缓冲码字长度的差异，这是码方差小的码质量好的原因。第4章无失真信源编码

4.1信源编码的基本概念4.2无失真信源编码定理3.3.1离散平稳信源(m+1)维离散平稳信源一维离散平稳信源和二维离散平稳信源3.3.2有限维离散平稳信源的条件熵1）二维离散平稳信源2)(m+1)维离散平稳信源3.3.3二维离散平稳信源的平均符号熵平稳离散信源的性质注意讨论的2个对象：条件熵和平均符号熵有限维离散平稳信源的极限熵3.3.5计算极限熵的处理方法3.4马尔可夫信源3.4.1马尔可夫信源的描述3.4.2齐次遍历的马尔可夫信源例题例题齐次遍历的马尔可夫信源极限熵的求解步骤3.5信源的相关性和剩余度信息处理定理2.6连续随机变量的信息度量一、连续随机变量的熵1）绝对熵：2）连续信源的熵（相对熵、差熵）：连续随机变量的相对熵与绝对熵应该区别对待。连续随机变量的绝对熵为无穷大，其物理意义与离散随机变量的信息熵相同，具有非负性。在取两熵之间的差时，绝对熵中的无穷项可以抵消，故定义的相对熵不影响平均互信息量和信道容