第五节 信源编码定理.pptVIP

信息编码理论 课程内容 绪论 信源的熵和互信息量 信道和信道容量 信息率失真函数 信源编码定理和方法 信道编码定理和方法 密码学 第五章　信源编码定理和方法 香农信息论的主要内容 香农信息论的主要内容 香农信息论的主要内容 信源编码定理和方法 编码的定义和类型 无失真编码定理 限失真编码定理 最佳变长编码方法 常用信源编码方法 离散信源编码 离散信源编码过程 离散信源编码过程 编码码字的码长 平均码长 码长偏差 信源编码过程 分组码／非分组码 变长码／定长码 变长码／定长码 奇异码／非奇异码 非奇异码：信源符号与码字一一对应； 奇异码：信源符号与码字不是一一对应； 唯一可译码／非唯一可译码 唯一可译码：任意有限长的码元序列，只能被　 　　　　　　　唯一地分割成一个个的码字； 非唯一可译码：奇异码，部分非奇异码 唯一可译码／非唯一可译码 即时码／非即时码 非即时码：接收端收到一个完整的码字后，不能 立即译码，还需要等待下一个码字开 始接收后才能判断是否可以译码。 即时码：任意一个码字都不是其他码字的前缀部 分，又称为非延长码和异前缀码。 即时码／非即时码 各类码的隶属关系 码　树 编码的码树表示及码树定理 码树定理 编码的码树表示及码树定理 唯一可译码存在充要条件 Ｋraft 不等式 Ｋraft不等式只是一个存在性证明，但不能作为唯一可译的判断依据． Ｋraft 不等式 Ｋraft不等式只是一个存在性证明，但不能作为唯一可译的判断依据． 信源编码定理和方法 编码的定义和类型 无失真编码定理 限失真编码定理 最佳变长编码方法 常用信源编码方法 信源编码器 无失真信源编码定理 信源编码器 无失真信源编码定理 定长无失真信源编码定理 定长无失真信源编码定理 定长无失真信源编码定理 例5-2　说明误码来源及无失真要求 例5-2　说明误码来源及无失真要求 例5-1　说明误码来源及无失真要求 信源序列长度Ｌ的界限 信源序列长度Ｌ的界限 编码效率 编码过程 例5-2 　计算保证?高效时Ｌ的数量级 例5-2 　计算保证?高效时Ｌ的数量级 变长无失真信源编码定理 单符号变长编码定理 离散平稳无记忆序列变长编码定理 离散平稳无记忆序列变长编码定理 变长无失真编码的编码效率 例5-3 变长编码的编码效率 例5-3 变长编码的编码效率 例5-3 变长编码的编码效率 比较例5-2 定长和变长编码的码长 比较例5-3 定长和变长编码的码长 信源编码定理和方法 编码的定义和类型 无失真编码定理 限失真编码定理 最佳变长编码方法 常用信源编码方法 限失真信源编码定理 限失真信源编码方法 对于连续平稳无记忆信源，虽然无法进行无失真编码，在限失真情况下，有与上述定理一样的编码定理。 上述定理只能说明最佳编码是存在的，而具体的构造方法却一无所知。因而就不能象无损编码那样从证明过程中引出概率匹配的编码方法，一般只能从优化的思路去实现最佳编码。 信源编码定理和方法 编码的定义和类型 无失真编码定理 限失真编码定理 最佳变长编码方法 常用信源编码方法 最佳变长编码方法 最佳变长码：能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 特点：概率大的信息符号编以短码； 概率小的信息符号编以长码； 香农(Shannon)编码方法 例5-4 演示Shannon编码过程 例5-4 演示Shannon编码过程 例5-4 演示Shannon编码过程 费诺(Fano)编码方法 例5-5 演示Fano编码过程 例5-5 演示Fano编码过程 哈夫曼(Huffman)编码方法 例5-6 演示Huffman编码过程 例5-6 演示Huffman编码过程 二进制Huffman编码特点及注意事项 1、码树上下的分支的分配码元应该固定，即上分支全为0，下分支全为1，或者上分支全为1，下分支全为0。不能有时上分支为0，下分支为1，有时上分支为1，下分支为0，反之亦然。 2、如果合并后的概率与其它信源符号概率相同，则一般将合并后的概率放在信源符号概率之上，可以获得比较小的码长方差。 3、即时码 信源编码定理和方法 编码的定义和类型 无失真编码定理 限失真编码定理 最佳变长编码方法 常用信源编码方法 常用信源编码方法 游程编码 算术编码 矢量量化（限失真压缩编码） 预测编码 变换编码 游程编码 游程编码 游程编码 常用信源编码方法 游程编码 算术编码 矢量量化（限失真压缩编码） 预测编码 变换编码 算术编码 分组码的特点：直观。 　(1) 需要对各种信源各符号或者长为L的信源符号序列的概率进行精确的统计。 (