信息论与编码 清华大学.pptVIP

本课程主要内容 1. 绪论 2. 信源与信息熵 3. 信道与信道容量 4. 信息率失真函数 5. 信源编码 6. 信道编码 7. 加密编码 8. 网络信息理论简介 2 普通高等教育 “ 十五 ” 国家级规 划教材《信息论与编码》 曹雪虹等编著 第 1 章 绪论 ? 通信系统模型方框图 : 信源 信宿 信源 编码 加密 信源 译码 解密 信道 编码 信道 译码 信道 干扰 噪声 有效性、可靠性、安全性 ( ) ( ) ( ) i i p x I x H X ? ? 第 2 章 信源与信息熵 ( ) R H X ? 0 1 2 ( ) ( ) ( ) ( ) H X H X H H ? ? ? ? X X L ( ) : 1 1 ( ) m H X H X ? ? ? ? ? ? ? 冗余度 ( ) ( )log ( ) i i i H X p x p x ? ? ? , ( / ) ( , )log ( / ) i j i j i j H X Y p x y p x y ? ? ? , ( , ) ( , )log ( , ) i j i j i j H X Y p x y p x y ? ? ? ? 单符号离散信源熵 符号熵 条件熵 联合熵 ( , ) ( ) ( / ) H X Y H X H Y X ? ? 第 2 章 信源与信息熵 ? 马氏链信源： ( ) ( ) ( / ) i i i H p s H X s ? ? ? X 第 3 章 信道与信道容量 信道容量 ) ; ( max ) ( Y X I C i a p ? ( / ) ( ; ) j i p y x I X Y C ? ? R C ? ( ; ) 1 I X Y C ? 信道相对剩余度 = 第 3 章 信道与信道容量 ? ? ? ? m j ij ij p p m C 1 log log 对称 DMC 信道的容量 准对称 DMC 信道的容量（三种求法） 限时限频限功率加性高斯白噪声信道 log(1 ) / t C W SNR bit s ? ? 第 4 章 信息率失真函数 ? 平均失真 ? 率失真函数 ? 其定义域为 0 ～ D max ，其值域为 0 ～ H( X ) 。 当 DD max 时， R(D) ? 0 。 ? ? , ( ) / ( , ) i j i i j i j D p x p y x d x y ? ? ( ) min ( ; ) ij D p P R D I X Y ? ? ? ? ? ? n i ij i m j d p D 1 , , 2 , 1 max min ? 普通高等教育 “ 十五 ” 国家级规划教材 《信息论与编码》 曹雪虹等编著 8 第 5 章 信源编码 ? 编码的定义：分组码、变长码、非奇异码、唯一 可译码、即时码、非延长码 ? 唯一可译码存在的充要条件 ? 编码效率 ? 香农（ Shannon ）码、哈夫曼（ Huffman ）码、算 术码 ? 无失真信源编码定理 / 限失真信源编码定理 9 普通高等教育 “ 十五 ” 国家级规 划教材《信息论与编码》 曹 雪虹等编著 ? 差错、差错控制 ? 信道编码、信道编码定理 ? 纠错编码 ? 信道译码 第 6 章 信道编码 10 普通高等教育 “ 十五 ” 国家级规 划教材《信息论与编码》 曹 雪虹等编著 最优译码与最大似然译码 ? 最佳译码 ＝ Max P ( c i / r ) ，性能优，实现 难 ? 最大似然译码 ＝ Max P ( r / c i ) ，性能次 优，实现容易 ? 最佳译码等同最大似然译码： – 码集的码字以相同概率发送 – 接收码等概分布 ? i c ? i c 第 6 章 信道编码 11 普通高等教育 “ 十五 ” 国家级规 划教材《信息论与编码》 曹 雪虹等编著 线性分组码 ? 线性分组码基本概念 – 码元、码字、码集 – 重量、重量分布、恒重码 – 线性码（封闭性） – 基底、矢量正交、矢量空间正交、对偶 空间、线性相关、线性无关 ? 生成矩阵、校验矩阵、伴随式、标准 阵列译码、完备码、循环码 12 普通高等教育 “ 十五 ” 国家级规 划教材《信息论与编码》 曹 雪虹等编著 码距与纠、检错能力 ? 码的总体性能取决于码距的分布特性（ 重 量谱 ），而纠、检错能力取决于其中的最 小者 d min ， d min = min {w ( C i ) ? 检、纠错能力： – 可检 d min – 1 个差错 – 可纠 t= INT[( d min – 1)/2] 个差错 ? 校验矩阵 H 中有（ d min -1) 列线性无关 ? d min ? ( n-k +1) ， 极大最小距离码