第一章：概率统计基础.pptVIP

第二章：无损编码的数学基础（续） 信息论简单回顾 信源模型 编码： 信源输出信息的有效表示：如何用二进制序列有效表示信源的字母表的字母 编码 编码：对信源输出的符号按一定的数学规则映射到码字的过程 X：信源 ：信源符号，其取值为字母表 中的元素 W：码书/码表 ：码字（codeword） 例：字母 ‘A’ ASCII: Morse: ?— 编码分类 等长码：一组码中所有码字的码长都相同 接收端只要能正确识别出一个码字的起始位就能正确译码 变长码：任意码字由不同长度的码元序列组成 唯一可译性 ? 唯一可译码 译码实时性 ? 即时码 匀速输入输出匹配的缓存问题 唯一可译码 例： 字母表 A = {a1, a2, a3, a4} P(a1) = 1/2, P(a2) = 1/4, P(a3) = P(a4) = 1/8 H = 1.75 bits l(ai) = length (codeword(ai)), i=1..4 平均长度 l = ?i=1..4P(ai) l(ai) 可能的编码： 唯一可译码 (2) 编码 1 a1 和 a2码字相同== decode(‘00’) = ??? 编码 2 唯一码但有歧义：decode( ‘00’/’11’) = ??? 编码 3 唯一可译，即时码 编码 4 唯一可译，接近即时（收到下一个码字的开始就可以译码） 唯一可译码 (3) 唯一可译性： 给定任意码字序列，只存在唯一的译码方式 唯一性 != 即时性 如： a1 ? 0 a2 ? 01 a3 ? 11 decode(0111111111) = a1a3… or a2a3… ? 知道字符串结尾才知道如何译码 0111111111 ?3 ? 011111a3a3 ? 0111a3a3a3 ? 01a3a3a3a3 ? a2a3a3a3a3a3 前缀码 前缀码：没有码字是其他码字的前缀 前缀码是即时码 可用树图法来构造前缀码 以二进制码树为例 前缀码解码 树图法可用做前缀码的解码器： 解码前缀码：Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Decoding Example Kraft-McMillan不等式 第一部分：唯一可译码的编码长度必须满足一定条件 必要条件 令编码C是一个有N个码字的编码，其长度分别 如果该编码C是唯一可译码，则： 直观含义：要求 比较长，即各码字不能过短。这意味着码字可能形成的组合数多，才能满足唯一可译性。 但Kraft-McMillan不等式并不涉及具体的码 可用来判断一组码不是唯一可译的，但不能判定是唯一可译的 证明 假设n个码字组成一个码流，则 其中指数项 为n个码字的长度 证明 所以得到 其中 为n个码字中长度为k的码字的数目 由于长度为k的不同的二进制序列数目为 因此如果该码字为唯一可译码，则每个序列能且只能表示一个码字 因此长度为k的码字的数 所以 证明 如果 ，则 会随n指数增长 而 随n是线性增长的 所以，如果 ，则 不成立 所以 不成立，即 定理得证。 Kraft-McMillan不等式 第二部分：如果存在一系列编码长度满足不等式的编码，则我们总可以找打满足编码长度的前缀码 充分条件 给定令满足 的整数 ，则我们可以找到一个编码长度为 的前缀码。 证明：利用树图构造法 证明 将码字长度 按顺序排列，并改变其下标，使其满足 由于长度满足不等式，即有 移项，有 两边同乘以 ，得 证明