信息论第三章离散信源无失真编码案例.pptVIP

5.2.1 最佳标量量化 模型 量化图示 量化间隔 均匀量化间隔 原理 最佳非均匀量化：在最佳压缩特性的情况下，使其量化噪声最小. 当L1时，量化分层很密，有 利用均匀量化 则，可得 A律对数压缩特性 信号归一化 压缩特性 国际标准：A=87.6 输入正弦信号的信噪比 μ律对数压缩特性 压缩特性 国际标准：u=255 折线近似 A律：13折线 u律：15折线 5.2 连续信源编码 常用编码方法 PCM编码规则 PCM编码规则 表 13 折线幅度码及其对应电平 5.2.2 矢量量化 输入：连续幅度随机变量 输出：离散幅度矢量——码本 矢量量化：实际上是一个输入与输出矢量之间的映射过程。 矢量量化的基本问题：计算量化误差？ 设计最佳量化器？ 对于同一种信源，三种编码法中以香农编码法的编码效率最低，费诺编码法也不是一种最佳编码法，但用这种方法有时候也能找到紧致码。 一般情况下，霍夫曼编码法得到的平均码长 最短，即编码效率最高。 编码效率定义为： 3.4 变长码的编码方法 香农（Shannon）编码法 费诺(Fano)编码法 霍夫曼(Huffman)编码法 变长编码法： 3.4.1 香农编码法 二进制香农编码法其码长的取值范围: -log q (xm) ? nm -log q (xm) +1 （3-30） 记离散信源 ，给定有D个 元素的码符号集，对信源进行变长编码，将各消息概率q(xm) (m = 1, 2, …, M) 写成如下的形式： 取码长nm (m = 1, 2, …, M) 满足： tm ? nm tm +1 （3-28） 香农编码法具体步骤如下， （4）计算出第m个消息的累加概率 ，再将pi 变换成二进制小数，取小数点后面nm位作为第m个消息的代码组 （3）根据式（3-30）：-log q (xm) ? nm -log q (xm) +1 （-log q (xm)为整数时取等号），计算出每个消息的二进制代码的长度nm。 （2）计算出各消息的 -log q(xm) 值，m =1, 2, …, M； （1）将信源发出的M个消息，按其概率递减顺序进行排列 【例3.14】 对给定信源 进行D =2进制香农编码。 1111110 0.99 7 6.66 0.01 a7 1110 0.89 4 3.34 0.10 a6 101 0.74 3 2.74 0.15 a5 100 0.57 3 2.56 0.17 a4 011 0.39 3 2.48 0.18 a3 001 0.2 3 2.41 0.19 a2 000 0 3 2.34 0.2 a1 码字ci 累加概率 码长ni -log2qi 消息概率qi 消息符号ai 表3-8 香农编码 以消息x5为例，对其进行编码： 计算出 -log q(x5) = -log 0.15 = 2.74，取整数n5 = 3作为x5的码字的码长，计算出消息x1, x2, x3, x4累加概率 将0.74变换成二进制小数 (0.74)10 = (0.1011110)2，取小数点后面三位101作为 x5的代码。 计算该编码的编码效率 先算出信源熵 =2.61(比特/符号) 平均码长 =3.14(比特/符号) 则编码效率 3.4.2 费诺编码法 费诺编码法的具体步骤如下： （1）信源发出的M个消息，按其概率递减顺序进行排列，把消息集{ x1 , x2, x3, …, xM }按其概率大小分解成两个子集，使两个子集的概率之和尽可能接近相等，把第一个子集编码为“0”，第二个子集编码为“1”，作为代码组的第一个码元 ； （2）对子集做第二次分解，同样分解成两个子集，并使两个子集的概率尽可能接近相等，再把第一个子集编码为“0”，第二个子集编码为“1”，作为代码组的第二个码元； （3）如此一直进行下去，直到各子集仅含一个消息为止 （4）将逐次分解过程当中得到的码元排列起来就是各消息