信息论与编码 清华大学.ppt

本课程主要内容 绪论 信源与信息熵 信道与信道容量 信息率失真函数 信源编码 信道编码 加密编码 网络信息理论简介 * 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第1章 绪论 通信系统模型方框图: 信源 信宿 信源 编码 加密 信源 译码 解密 信道 编码 信道 译码 信道 干扰 噪声 有效性、可靠性、安全性 第2章 信源与信息熵 单符号离散信源熵 符号熵 条件熵 联合熵 第2章 信源与信息熵 马氏链信源： 第3章 信道与信道容量 信道容量 信道相对剩余度 = 第3章 信道与信道容量 对称DMC信道的容量 准对称DMC信道的容量（三种求法） 限时限频限功率加性高斯白噪声信道 第4章 信息率失真函数 平均失真 率失真函数 其定义域为0～Dmax，其值域为0～H(X)。当D>Dmax时，R(D) ? 0。 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 * 第5章 信源编码 编码的定义：分组码、变长码、非奇异码、唯一可译码、即时码、非延长码 唯一可译码存在的充要条件 编码效率 香农（Shannon）码、哈夫曼（Huffman）码、算术码 无失真信源编码定理 /限失真信源编码定理 * 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 差错、差错控制 信道编码、信道编码定理 纠错编码 信道译码 第6章 信道编码 * 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 最优译码与最大似然译码 最佳译码 ＝ Max P(ci /r)，性能优，实现难 最大似然译码 ＝ Max P(r / ci)，性能次优，实现容易 最佳译码等同最大似然译码： 码集的码字以相同概率发送 接收码等概分布 第6章 信道编码 * 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 线性分组码 线性分组码基本概念 码元、码字、码集 重量、重量分布、恒重码 线性码（封闭性） 基底、矢量正交、矢量空间正交、对偶空间、线性相关、线性无关 生成矩阵、校验矩阵、伴随式、标准阵列译码、完备码、循环码 * 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 码距与纠、检错能力 码的总体性能取决于码距的分布特性（重量谱），而纠、检错能力取决于其中的最小者dmin ，dmin = min {w (C i ) 检、纠错能力： 可检dmin–1个差错 可纠t= INT[(dmin–1)/2]个差错 校验矩阵H中有（dmin-1)列线性无关 dmin ? (n-k+1)，极大最小距离码 * 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第7章 加密编码 加密编码的基本概念 加密编码中的熵概念 DES标准 RSA加密算法 第8章 网络信息理论简介 网络信道的分类 网络信道的信道容量域 离散、高斯 网络中相关信源的信源编码 信源传输速率域