香农三大定理幻灯片.ppt

信息论与编码基础 香农三大定理 简介 一、香农第一定理 三、香农第三定理 二、香农第二定理 不大于一定编码速率的条件下，使平均失真限 制到最小； 在平均失真不大于某个值的条件下，使编码 速率限制到最小 信息论与编码基础 香农三大定理 简介 信息率失真理论 信息论与编码基础 香农三大定理 简介 一、香农第一定理 二、香农第二定理 三、香农第三定理 信息论与编码基础 香农三大定理 简介 一、香农第一定理 二、香农第二定理 三、香农第三定理 信息论与编码基础 香农三大定理 简介 1、信源编码器 a、模型 编码器 单符号信源无失真编码器 码符号 码字 码长 信息论与编码基础 香农三大定理 简介 N次扩展信源无失真编码器 编码器 1、信源编码器 a、模型 信息论与编码基础 香农三大定理 简介 b、举例 1）ASCII信源编码器 1、信源编码器 ASCII编码器 {英文字母/符号/命令} 二进代码 码符号集{0，1} 信息论与编码基础 香农三大定理 简介 1、信源编码器 信源编码器I {A,B,…,Z} 二进符号 码符号集{0，1} 信源编码器II 码符号集{点/划/字母间隔/单词间隔} 2）摩尔斯电码 b、举例 2）摩尔斯信源编码器 b、举例 符号 电平 二进代码 点 划 字母间隔 单词间隔 + — + + + — — — — — — — — — — 10 1110 000 000000 信息论与编码基础 香农三大定理 简介 3）中文电报信源编码器 “中” “0022” “01101 01101 11001 11001” 1、信源编码器 b、举例 信息论与编码基础 香农三大定理 简介 c、分类 等长码 变长码 中文电报 莫尔斯电码 有失真编码 无失真编码 I(S;C) H(S) I(S;C) = H(S) 惟一可译码 非惟一可译码 若某一种码的任意一串有限长的符号序列只能 被惟一地译成所对应的信源符号。 1、信源编码器 信息论与编码基础 香农三大定理 简介 d、指标 1) 平均码长 code/sign code/N-sign 1、信源编码器 信息论与编码基础 香农三大定理 简介 2) 编码后的信息传输率 bit/code bit/code d、指标 1、信源编码器 信息论与编码基础 香农三大定理 简介 3) 编码效率 d、指标 1、信源编码器 信息论与编码基础 香农三大定理 简介 例：二元DMS进行无失真编码 H(S) = H(3/4,1/4) = 0.811(bit/sign) N=1 (code/sign) (bit/code) 信息论与编码基础 香农三大定理 简介 例：二元DMS进行无失真编码 H(S) = H(3/4,1/4) = 0.811(bit/sign) N=2 {0,10,110,111} (code/2-sign) (bit/code) 信息论与编码基础 香农三大定理 简介 例：二元DMS进行无失真编码 H(S) = H(3/4,1/4) = 0.811(bit/sign) N=3 (bit/code) N=4 (bit/code) 随着N的增加，平均码长减小，有效性逐步提高； 当N趋于无穷时，平均码长可以无限制地减小吗？ 信息论与编码基础 香农三大定理 简介 2、香农第一定理（可变长无失真信源编码定理） 定理4.1 设 为q元离散无记忆信源S的N次扩展 信源，若对 进行编码，码符号集 ，则总可以找 到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均 编码长度满足： 且当 时有： 信息论与编码基础 香农三大定理 简介 表述二：若R?H(S)，就存在惟一可译变长编码；若R?H(S)， 惟一可译变长编码不存在，不能实现无失真编码。其中 2、香农第一定理（可变长无失真信源编码定理） 信息论与编码基础 香农三大定理 简介 说明： 1）通过对扩展信源进行可变长编码，可以使平均码长无限趋近 于极限熵值，但这是以编码复杂性为代价的。 2）无失真信源编码的实质：对离散信源进行适当的变换，使变换 后新的符号序列信源尽可能为等概率分布，从而使新信源的每个码 符号平均所含的信息量达到最大。 3）香农第一定理仅是一个存在性定理，没有给出更有效的信源 编码的实现方法。 2、香农第一定理（可变长无失真信源编码定理） 信息论与编码基础 香农三大定理 简介 总结： 信源编码器模型 性能指标 香农第一定理（无失真信源编码定理） 平均码长、信息传输率、编码效率 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 Yt Yt+1 a(t)={101001011000001100111011} b = {001242425124366675013666} 信息论与编码基础 香农三大定理 简介 一、香农第