无损编码的数学基础.pptVIP

第二章：无损编码的数学基础（续） 信息论简单回顾 信源模型 编码： 信源输出信息的有效表示：如何用二进制序列有效表示信源的字母表的字母 编码 编码：对信源输出的符号按一定的数学规则映射到码字的过程 X：信源 ：信源符号，其取值为字母表 中的元素 W：码书/码表 ：码字（codeword） 例：字母 ‘A’ ASCII: Morse: ?— 编码分类 等长码：一组码中所有码字的码长都相同 接收端只要能正确识别出一个码字的起始位就能正确译码 变长码：任意码字由不同长度的码元序列组成 唯一可译性 ? 唯一可译码 译码实时性 ? 即时码 匀速输入输出匹配的缓存问题 唯一可译码 例： 字母表 A = {a1, a2, a3, a4} P(a1) = 1/2, P(a2) = 1/4, P(a3) = P(a4) = 1/8 H = 1.75 bits l(ai) = length (codeword(ai)), i=1..4 平均长度 l = ?i=1..4P(ai) l(ai) 可能的编码： 唯一可译码 (2) 编码 1 a1 和 a2码字相同== decode(‘00’) = ??? 编码 2 唯一码但有歧义：decode( ‘00’/’11’) = ??? 编码 3