香农三大定理-信息论与编码基础.ppt

信息论与编码基础 香农三大定理 简介 一、香农第一定理 三、香农第三定理 二、香农第二定理 不大于一定编码速率的条件下，使平均失真限 制到最小； 在平均失真不大于某个值的条件下，使编码 速率限制到最小 信息论与编码基础 香农三大定理 简介 信息率失真理论 信息论与编码基础 香农三大定理 简介 一、香农第一定理 二、香农第二定理 三、香农第三定理 信息论与编码基础 香农三大定理 简介 一、香农第一定理 二、香农第二定理 三、香农第三定理 信息论与编码基础 香农三大定理 简介 1、信源编码器 a、模型 编码器 单符号信源无失真编码器 码符号 码字 码长 信息论与编码基础 香农三大定理 简介 N次扩展信源无失真编码器 编码器 1、信源编码器 a、模型 信息论与编码基础 香农三大定理 简介 b、举例 1）ASCII信源编码器 1、信源编码器 ASCII编码器 {英文字母/符号/命令} 二进代码 码符号集{0，1} 信息论与编码基础 香农三大定理 简介 1、信源编码器 信源编码器I {A,B,…,Z} 二进符号 码符号集{0，1} 信源编码器II 码符号集{点/划/字母间隔/单词间隔} 2）摩尔斯电码 b、举例 2）摩尔斯信源编码器 b、举例 符号 电平 二进代码 点 划 字母间隔 单词间隔 + — + + + — — — — — — — — — — 10 1110 000